AI와의 대화, 사실은 '대화'가 아니에요

AI는 아무것도 기억하지 않아서, 매번 지금까지의 대화 전체를 통째로 다시 받아요. 그래서 대화가 길어질수록 무거워지고 둔해져요.

내가 보는 화면: 대화하는 것처럼 보여요

AI가 실제로 받는 것: 매번 '전체 묶음'

이번 요청에 보낸 토큰 0
요청 1회분 = 지금까지의 대화 전체

대화에 쌓인 토큰
0토큰
AI의 집중력
100%

대화 진행

느낌이 아니라, 실제 연구 결과예요

맥락(컨텍스트)이 길어질수록 최신 모델들의 정확도가 일제히 떨어져요

NoLiMa 벤치마크 그래프. 컨텍스트 길이가 1천 토큰에서 3만2천 토큰으로 늘어날수록 GPT-4o, Gemini, Claude 등 모든 모델의 성능 점수가 급격히 떨어지는 모습
짧은 맥락에서 정확도 99%에 가깝던 모델들이 약 3만 토큰에서는 가장 선전한 모델조차 70% 아래로, 상당수는 50% 밑으로 떨어졌어요. 위 시뮬레이션의 '집중력' 게이지가 바로 이 현상이에요. 출처: NoLiMa: Long-Context Evaluation Beyond Literal Matching (arXiv:2502.05167)

비슷한 연구 더 보기: Lost in the Middle: 긴 맥락 가운데에 묻힌 정보는 놓친다 · LLMs Get Lost in Multi-Turn Conversation: 여러 턴에 나눠 지시하면 평균 39% 성능 하락

그럼 AI는 방금 그 대화를 '학습'했을까요?

아니요! 대화하는 동안 다이얼(파라미터)은 절대 움직이지 않아요. 학습이 진짜로 무엇인지 다음 시뮬레이션에서 확인해 보세요.

학습의 비밀 보러 가기 →

핵심 개념

시뮬레이션에서 방금 본 것들, 궁금한 개념을 눌러 보세요