AI는 내 말을 '학습'할까?

학습(훈련)은 다이얼(파라미터)을 수백만 번 조금씩 돌려 맞추는 별도의 공정이고, 추론은 완성된 다이얼로 계산만 하는 거예요. 여러분과의 대화는 전부 추론이라서, 대화 내용이 모델에 새겨지지 않아요.

ChatGPT의 '메모리' 같은 기능은 모델이 나를 학습한 게 아니라, 서비스가 내 정보를 따로 적어 뒀다가 매번 묶음 맨 앞에 몰래 끼워 넣는 것이에요. 다이얼은 여전히 그대로랍니다.

AI 회사가 새 데이터로 다시 훈련(재훈련·파인튜닝)해서 다이얼을 고친 새 버전 모델을 내놓는 거예요. 그래서 모델에는 "지식이 몇 월까지"라는 지식 마감일이 있고, 그 뒤의 일은 검색 결과를 묶음에 넣어 줘야 알 수 있어요.

신경망 속 다이얼 하나하나가 파라미터예요. GPT-4 같은 모델은 다이얼이 1조 개가 넘어요. 다이얼이 계산에 어떻게 쓰이는지는 단어 맞히기에서 볼 수 있어요.