훈련 데이터에 수없이 나온 계산
만들어지는 답
다음 조각 후보 뽑힌 조각의 확률 —
훈련 데이터에 없는 계산
만들어지는 답
다음 조각 후보 뽑힌 조각의 확률 —
노란 막대가 "계산기가 필요해요"예요. 이 확률이 얼마나 작은지, 그리고 숫자가 계산이 아니라 조각 단위로 뽑히는지 지켜보세요.
숫자는 자릿수대로 잘리지 않아요
같은 숫자를 사람은 일의 자리부터 묶어 읽고, 토큰은 앞에서부터 잘라요
사람이 보는 것: 자릿수 묶음 (일의 자리부터 3칸씩, 쉼표가 눈금)
덧셈·곱셈은 일의 자리부터 자리를 맞춰야 하는데, AI에게 도착하는 조각은 이렇게 자릿수와 어긋나 있어요. 토큰의 비밀에서 본 "글자가 안 보이는 구조"가, 숫자에서는 "자릿수가 안 보이는 구조"가 되는 거예요.
※ 교육용 모형이지만 실제와 같은 방식이에요. GPT 계열 토크나이저는 숫자를 앞에서부터 최대 3자리씩 잘라요. 최신 모델 중에는 계산을 돕기 위해 일부러 일의 자리부터 묶는 것도 있어요 — 그만큼 자릿수가 계산에 중요하거든요.
핵심 개념
시뮬레이션에서 방금 본 것들, 궁금한 개념을 눌러 보세요
LLM에게 숫자는 그냥 토큰 조각이에요. "12 + 34 ="을 받으면 덧셈 회로를 돌리는 게 아니라, 이런 글 다음에 어떤 조각이 자주 왔는지를 확률로 계산해요. 큰 숫자가 조각 단위로 뽑히다가 틀리는 이유예요.
"12 + 34 = 46" 같은 문장은 훈련 데이터에 수없이 등장해요. 그래서 정답 조각의 확률이 압도적으로 높아져요. 우리가 구구단을 계산하지 않고 외워서 답하는 것과 비슷해요. 처음 보는 큰 곱셈은 외운 적이 없으니 자릿수 감으로 지어낼 수밖에 없어요.
두 가지 요령 덕분이에요. 풀이 과정을 한 줄씩 쓰면서 풀면 각 단계가 쉬운 예측이 되어 정확도가 크게 올라가고(생각의 사슬), 아예 계산기나 코드 실행 도구를 몰래 불러 쓰기도 해요. 원리가 확률 뽑기라는 건 변하지 않아요.
돈·점수·통계처럼 틀리면 곤란한 숫자는 꼭 검산하세요. AI에게 "풀이 과정을 단계별로 보여 줘"라고 부탁하면 정확도가 올라가고, 틀린 단계를 찾기도 쉬워져요. 환각의 비밀에서 봤듯, 당당한 말투는 정답의 증거가 아니에요.