AI는 어떻게 다음 단어를 맞출까?

AI는 문장을 통째로 읽지 않고 작은 조각, 즉 토큰으로 잘라서 읽어요. 이 시뮬레이션은 단어 단위로 자르지만, 진짜 LLM은 "싸늘" + "하다"처럼 더 잘게 자르기도 해요. 직접 잘라 보고 싶다면 토큰의 비밀로!

신경망 속 다이얼 하나하나가 파라미터예요. GPT-4 같은 모델은 다이얼이 1조 개가 넘어요. '학습'이란 다음 단어를 잘 맞히도록 이 다이얼들을 아주 조금씩 돌려 맞추는 과정이에요.

AI는 정답을 '아는' 게 아니라 다음에 올 확률이 높은 단어를 뽑는 것뿐이에요. 온도는 확률을 전부 키우는 게 아니에요. 합은 항상 100%거든요! 온도를 높이면 1등의 확률이 깎여 나머지에게 나눠지면서 분포가 고르게 퍼져요. 찌그러진 주사위가 점점 공정한 주사위에 가까워지는 것, 즉 주사위의 자유도가 커지는 것이라 어떤 단어든 뽑힐 수 있게 돼요(창의적, 가끔은 엉뚱!). 낮추면 반대로 1등 쪽으로 찌그러져서 늘 비슷한 답만 해요. 확률로만 답해서 생기는 사고는 환각의 비밀에서 확인해 보세요.

단어 하나를 뽑으면 문장 끝에 붙이고, 다시 처음부터 전체 문장을 읽고 예측해요. ChatGPT가 쓰는 긴 글도 결국 '다음 단어 맞히기'를 수없이 반복한 결과예요. 이 "매번 처음부터 다시 읽기"가 대화에서 어떤 일을 만드는지 대화의 비밀에서 확인해 보세요.

진짜 LLM은 미리 정해 둔 표가 아니라 수천억 개의 파라미터 계산으로 그때그때 확률을 만들어 내요. 이 페이지는 원리를 쉽게 보여 주기 위해 작은 확률표를 사용한 모형이에요.