입력 문장
인공 신경망
다음 단어 확률
계산이 끝나면
후보 단어들이 나타나요
핵심 개념
시뮬레이션에서 방금 본 것들, 궁금한 개념을 눌러 보세요
AI는 문장을 통째로 읽지 않고 작은 조각, 즉 토큰으로 잘라서 읽어요. 이 시뮬레이션은 단어 단위로 자르지만, 진짜 LLM은 "싸늘" + "하다"처럼 더 잘게 자르기도 해요.
신경망 속 다이얼 하나하나가 파라미터예요. GPT-4 같은 모델은 다이얼이 1조 개가 넘어요. '학습'이란 다음 단어를 잘 맞히도록 이 다이얼들을 아주 조금씩 돌려 맞추는 과정이에요.
AI는 정답을 '아는' 게 아니라 다음에 올 확률이 높은 단어를 뽑는 것뿐이에요. 온도를 높이면 확률이 낮은 단어도 자주 뽑혀서 창의적(가끔은 엉뚱!)해지고, 낮추면 늘 비슷한 답만 해요.
단어 하나를 뽑으면 문장 끝에 붙이고, 다시 처음부터 전체 문장을 읽고 예측해요. ChatGPT가 쓰는 긴 글도 결국 '다음 단어 맞히기'를 수없이 반복한 결과예요.
진짜 LLM은 미리 정해 둔 표가 아니라 수천억 개의 파라미터 계산으로 그때그때 확률을 만들어 내요. 이 페이지는 원리를 쉽게 보여 주기 위해 작은 확률표를 사용한 모형이에요.