인공지능(AI)과 대화를 하다 보면 분명히 틀린 내용인데도 아주 자신 있게 정답처럼 말하는 모습을 볼 때가 있습니다. 세종대왕이 아이폰을 사용했다는 식으로 말도 안 되는 이야기를 지어내기도 하죠. 우리는 이것을 AI의 '환각(Hallucination) 현상'이라고 부릅니다. 왜 AI는 완벽하지 못하고 자꾸만 이런 실수를 하는 걸까요?
1. AI는 지식을 이해하는 것이 아니라 단어를 맞히는 것입니다
가장 큰 이유는 AI의 학습 방식에 있습니다. 챗GPT 같은 대규모 언어 모델(LLM)은 백과사전처럼 지식을 통째로 기억하는 것이 아닙니다. 수조 개의 문장을 읽고 'A라는 단어 다음에 B가 올 확률'을 계산하는 연습을 한 것입니다. 예를 들어 "대한민국의 수도는"이라는 문장 뒤에는 "서울"이라는 단어가 올 확률이 가장 높다는 것을 통계적으로 맞히는 식입니다. 이 과정에서 사실관계보다 '문장의 자연스러움'을 우선순위에 두다 보니, 실제로는 없는 사실도 문법적으로 완벽하게 만들어내게 됩니다.
2. 학습 데이터 속에 숨은 가짜 정보와 편향
AI는 인터넷에 올라온 수많은 글을 공부합니다. 그런데 인터넷에는 정확한 정보만 있는 것이 아니라 개인의 의견, 거짓 뉴스, 소문 등도 섞여 있습니다. AI가 공부한 데이터 중 약 10%~20% 정도에 잘못된 정보가 포함되어 있다면, AI는 무엇이 진실인지 판단하지 못한 채 그 가짜 정보를 바탕으로 답변을 만들 수 있습니다. 즉, 공부한 재료 자체가 오염되어 있으면 결과물도 틀릴 수밖에 없는 구조입니다.
3. 질문의 의도를 오해하거나 '아는 척'을 합니다
AI는 사용자의 질문에 최대한 성실하게 대답하도록 설계되어 있습니다. 그래서 자신이 모르는 질문을 받아도 "모른다"라고 말하기보다, 자기가 가진 데이터를 억지로 조합해 답변을 완성하려 노력합니다. 최근 한 연구에 따르면, 복잡한 수학 문제나 최신 뉴스에 대한 AI의 오답률은 모델에 따라 약 5%에서 15% 사이로 나타납니다. 특히 데이터가 부족한 아주 전문적인 분야나 최신 정보일수록 AI는 더 자주 '아는 척'을 하며 틀린 답을 내놓게 됩니다.
4. 완벽한 AI는 없다는 사실을 기억하세요
인공지능 기술이 빠르게 발전하면서 2026년 현재는 검색 엔진과 실시간으로 연결하여 틀린 답을 줄이는 기술(RAG)이 많이 쓰이고 있습니다. 하지만 근본적으로 AI는 확률에 기반해 문장을 만드는 도구이기 때문에 100% 믿는 것은 위험합니다. AI가 준 답변 중 숫자, 날짜, 고유 명사 등은 반드시 사용자가 직접 다시 확인하는 '더블 체크' 습관을 가져야 합니다. 똑똑한 도구를 똑똑하게 사용하는 것은 결국 사람의 몫입니다.
참고 문헌
• Ziwei Ji et al., "Survey of Hallucination in Natural Language Generation", ACM Computing Surveys, (2023).
• OpenAI, GPT-4 System Card: Analyzing and mitigating hallucinations, (2023).
• Google DeepMind, "Self-Correction in Language Models: Limits and Opportunities", (2024).