인공지능과 대화를 하다 보면, 가끔 존재하지 않는 책의 내용을 설명하거나 가짜 역사를 지어내어 말하는 경우를 보게 됩니다. 우리는 이것을 AI가 '거짓말'을 한다고 느끼지만, 전문가들은 이를 '환각(Hallucination) 현상'이라고 부릅니다. AI는 우리를 속이려는 의도가 전혀 없는데도 왜 이런 실수를 반복하는 것일까요?
1. AI는 사실이 아닌 '확률'로 문장을 만듭니다
인공지능, 특히 챗GPT 같은 대규모 언어 모델은 우리가 생각하는 방식으로 지식을 이해하지 않습니다. AI는 수조 개의 문장을 학습한 뒤, "안녕" 다음에 "하세요"가 올 확률이 높다는 것을 계산하는 '확률 예측기'에 가깝습니다. 즉, AI는 질문에 대한 정답을 지식 창고에서 꺼내오는 것이 아니라, 질문 뒤에 올 법한 가장 자연스러운 단어들을 확률적으로 나열하는 것입니다. 이 과정에서 확률상 그럴듯해 보이는 단어들이 조합되면, 사실관계가 틀린 문장이 만들어지게 됩니다.
2. 모르는 것도 아는 척하게 만드는 학습 방식
AI가 환각을 일으키는 또 다른 이유는 학습 데이터의 한계 때문입니다. AI는 인터넷에 있는 엄청난 양의 글을 공부하지만, 그중에는 잘못된 정보나 소문도 섞여 있습니다. 또한, AI는 사용자의 질문에 최대한 친절하게 답변하도록 훈련받았습니다. 그러다 보니 자신이 모르는 질문을 받았을 때 "모릅니다"라고 말하기보다, 학습한 데이터를 억지로 조합해 답변을 완성하려다 보니 가짜 정보를 만들어내게 됩니다.
3. 80%는 맞고 20%는 틀리는 무서운 디테일
최근 연구에 따르면, 최신 AI 모델들의 환각률은 서비스마다 다르지만 보통 약 3%에서 10% 사이인 것으로 나타났습니다. 문제는 AI가 아주 구체적인 숫자나 날짜를 언급하며 답변하기 때문에, 사용자가 그 정보의 진위 여부를 판단하기 어렵다는 점입니다. 예를 들어, 존재하지 않는 법령의 번호를 구체적으로 제시하며 설명하면 중학생뿐만 아니라 성인들도 쉽게 믿어버릴 가능성이 큽니다.
4. 비판적으로 바라보는 '디지털 문해력'이 필요한 이유
AI 기술이 발전하면서 환각 현상을 줄이려는 노력이 계속되고 있습니다. 답변의 근거를 웹사이트에서 직접 검색해 확인하는 기술이 도입되고 있으며, 2026년 현재는 이전보다 오류가 많이 줄어들었습니다. 하지만 완벽한 AI는 아직 존재하지 않습니다. AI가 주는 정보를 그대로 믿기보다는, 중요한 정보는 반드시 한 번 더 검색해 확인하는 습관인 '교차 검증'이 우리에게 반드시 필요합니다.
📚 참고 문헌
• Ziwei Ji et al., "Survey of Hallucination in Natural Language Generation", ACM Computing Surveys, (2023).
• OpenAI, GPT-4 System Card: Analyzing and mitigating hallucinations, (2023).
• Google DeepMind, "Self-Correction in Language Models: Limits and Opportunities", (2024).