환각 Hallucination
환각은 AI가 사실이 아니거나 근거 없는 내용을 마치 사실인 것처럼 자신 있게 만들어 내는 현상입니다.
쉽게 말하면 모르는 질문을 받았을 때 '모른다'고 하지 않고 그럴듯한 이야기를 지어내는 사람과 비슷합니다. 다만 AI는 일부러 속이는 것이 아니라, 그럴듯한 문장을 만드는 방식 자체에서 생기는 문제입니다.
어떻게 작동하나
언어 모델은 '사실인가'보다 '다음에 올 법한 말인가'를 기준으로 글을 만듭니다. 그래서 학습한 정보가 부족하거나 애매한 질문을 받으면, 형식은 그럴듯하지만 내용은 틀린 답을 만들 수 있습니다. 존재하지 않는 논문 제목이나 잘못된 숫자, 지어낸 인용문이 대표적인 예입니다.
왜 중요한가
환각은 겉보기에 자연스러워서 사용자가 알아채기 어렵습니다. 의료, 법률, 금융처럼 정확성이 중요한 분야에서는 큰 피해로 이어질 수 있습니다. 그래서 AI를 실제 업무에 도입할 때 환각을 줄이는 것이 핵심 과제로 꼽힙니다.
알아 둘 점
RAG처럼 믿을 만한 자료를 찾아서 함께 보여 주는 방법, 출처를 표시하게 하는 방법 등으로 환각을 줄일 수 있습니다. 하지만 완전히 없애기는 어렵다는 것이 일반적인 평가입니다. 중요한 정보는 반드시 원래 출처로 다시 확인하는 것이 좋습니다.
예시
챗봇에 특정 주제의 참고 문헌을 물었을 때, 저자와 제목이 그럴듯하지만 실제로는 존재하지 않는 논문을 알려 주는 경우가 있습니다. 많은 AI 서비스가 화면에 'AI는 실수할 수 있습니다' 같은 안내 문구를 붙이는 것도 이런 환각 때문입니다.