AI는 왜 당당하게 지어낼까?

AI가 사실이 아닌 것을 사실처럼 당당하게 말하는 현상이에요. 거짓말(속이려는 의도)이 아니라, 확률 기계가 그럴듯한 단어를 뽑다 보니 생기는 구조적인 부작용이에요. 없는 논문, 없는 판례, 없는 함수를 지어내는 사고가 실제로 일어나요.

훈련 데이터 속 문장들은 대부분 질문에 답을 하는 글이에요. 그래서 "모르겠어요"가 뽑힐 확률은 늘 작게 계산돼요. 요즘 모델은 모를 때 모른다고 말하도록 추가 훈련을 받지만, 원리가 확률 뽑기인 이상 완전히 사라지지는 않아요.

질문에 "모르면 모른다고 답해 줘"라고 덧붙이기, 출처를 함께 요구하기, 검색 결과나 자료를 묶음에 넣어 주기. 근거를 쥐여 주면 지어낼 이유가 줄어들어요.

말투의 확신 ≠ 사실이라는 것만 기억하면 돼요. 이름·날짜·숫자·출처처럼 틀리면 곤란한 정보는 꼭 검증하는 습관을 들이세요. 시뮬레이션에서 봤듯, 지어낸 답도 확신도는 진짜 답과 거의 같으니까요.