AI 모델, 어떤 걸 골라야 할까?

아니에요. 학습은 다이얼(파라미터)을 돌려 맞추는 과정이라, 다이얼 수가 정해진 모델은 아무리 오래 학습해도 담을 수 있는 실력에 한계가 있어요. 그래서 회사들은 다이얼을 늘려 더 큰 모델을 만드는데, 데모 1에서 봤듯 다이얼을 10배로 늘려도 점수는 몇 점씩만 올라요. 계산량과 전기 요금은 그대로 10배씩 뛰는데 말이죠. AI는 무한히 똑똑해지는 게 아니라, 조금 더 좋아지는 데에 훨씬 큰 비용이 드는 것이에요.

AI 사용료는 월정액이 아니라 주고받은 토큰 수만큼 내는 방식이 기본이에요. 그래서 같은 작업이라도 프롬프트가 길어지거나 답이 길어지면 요금이 늘어나요. 토큰이 뭔지 헷갈린다면 토큰의 비밀에서 직접 잘라 보세요.

입력은 한꺼번에 읽지만, 출력은 토큰 하나를 뽑을 때마다 전체 계산을 다시 해야 해요(자동 회귀). 단어 맞히기에서 본 그 반복이에요. 계산량이 훨씬 많으니 모든 모델에서 출력 가격이 입력의 5배예요.

모델의 크기는 매개변수(파라미터) 수예요. AI는 토큰 하나를 만들 때마다 이 매개변수를 거의 전부 곱하고 더하는 계산을 해요. 매개변수가 10배 많으면 토큰 하나에 드는 계산도 대략 10배로 늘어나죠. 그래서 작은 모델은 같은 답이라도 토큰이 훨씬 빨리 나오고, 계산기(GPU)를 덜 쓰니 가격도 싼 거예요. 속도와 가격은 사실 계산량이라는 같은 뿌리에서 나와요.

성능 지수는 30점에서 63점으로 2.1배 오르는데 가격은 10배 뛰어요. 맞춤법 고치기 같은 쉬운 작업은 작은 모델로도 충분하고, 어려운 작업일수록 큰 모델의 점수 차이가 결과 품질로 이어져요. 게다가 가장 비싼 Fable 5(62점)는 절반 값인 Opus 5(63점)보다도 점수가 낮아요. 비싼 모델이 곧 1등은 아니에요. 그래서 개발자들은 작업 난이도에 맞춰 모델을 골라 비용과 속도를 아껴요.