아무 문장이나 토큰으로 잘라 보세요
※ 실제 토크나이저(BPE)가 아니라 원리를 보여 주는 교육용 모형이에요. 진짜 어휘표에는 조각이 10만 개쯤 있어요.
그 유명한 strawberry 문제
"strawberry에 r이 몇 개야?"를 AI가 자주 틀리는 이유
사람이 보는 것: 글자 10개
r이 3개라는 게 한눈에 보여요.
AI가 보는 것: 토큰 3개
AI에게 도착하는 건 번호 3개예요. 번호 안에 글자가 몇 개 들었는지는 보이지 않아요.
AI: "음… 2개요!" (정답은 3개)
바코드 숫자만 보여 주고 "상품 이름에 ㄹ이 몇 번 들어가?"라고 묻는 것과 비슷해요. 못 배운 게 아니라 애초에 글자가 안 보이는 구조인 거죠.
같은 뜻인데 한국어가 더 비싸요
어휘표가 영어 중심이라, 같은 뜻이라도 한국어는 더 잘게 잘려요
AI 사용 요금과 대화에 쌓이는 양은 모두 토큰 수로 계산돼요. 같은 질문이라도 한국어가 조금 더 비싸고, 대화창도 더 빨리 무거워지는 이유예요.
핵심 개념
시뮬레이션에서 방금 본 것들, 궁금한 개념을 눌러 보세요
모델이 아는 조각 전체의 목록이에요. 조각마다 번호가 붙어 있고, 모델은 글자 대신 이 번호들만 주고받아요. 자주 쓰는 조각은 통째로, 드문 단어는 잘게 잘려 들어가요.
"strawberry"는 AI에게 st·raw·berry라는 번호 3개예요. 번호 안의 철자는 보이지 않으니, 글자 세기는 기억에 의존한 추측이 돼요. 요즘 모델은 코드 실행 같은 도구를 써서 이런 문제를 피하기도 해요.
어휘표는 훈련 데이터에서 자주 나온 조각 위주로 만들어지는데, 데이터에 영어가 압도적으로 많았어요. 그래서 영어 단어는 통째로, 한국어는 잘게 잘려서 같은 뜻에 토큰을 더 쓰게 돼요.
실제로는 BPE(바이트 페어 인코딩)라는 방법을 써요. 훈련 데이터에서 자주 붙어 나오는 글자 쌍을 반복해서 합쳐 어휘표를 만들어요. 이 페이지는 그 결과를 흉내 낸 교육용 모형이에요.