AI 답변은 왜 틀릴까?
AI는 모르는 것도 아는 것처럼, 틀린 것도 맞는 것처럼 말할 때가 있습니다. 이런 현상을 '할루시네이션'이라고 부릅니다. 왜 이런 일이 생기는지, 그리고 공부할 때 AI를 어떻게 써야 하는지 정리했습니다.
할루시네이션이란?
할루시네이션(hallucination)은 원래 '환각'이라는 뜻입니다. AI 분야에서는 AI가 사실이 아니거나 근거가 없는 내용을 그럴듯하게 만들어 내는 현상을 가리킵니다. 존재하지 않는 책이나 논문을 인용하거나, 계산 과정은 그럴싸한데 답이 틀리거나, 날짜와 숫자를 바꿔 말하는 경우가 대표적입니다.
왜 생길까?
1. 정답을 찾는 게 아니라 '그럴듯한 다음 말'을 고른다
대화형 AI는 학습한 방대한 글을 바탕으로, 앞의 문맥 다음에 올 가능성이 높은 말을 이어 붙이는 방식으로 답을 만듭니다. 그래서 문장은 매끄럽지만, 그 내용이 사실인지 스스로 확인하는 과정이 항상 보장되지는 않습니다.
2. 학습한 정보에 빈틈이나 오류가 있다
학습 데이터에 없던 내용, 최근에 바뀐 규정, 잘못 알려진 정보를 그대로 배운 경우에는 틀린 답을 낼 수 있습니다. 시험 규정처럼 해마다 바뀌는 정보는 특히 조심해야 합니다.
3. 여러 단계를 거치는 계산과 논리에 약할 때가 있다
단계가 많은 계산이나, 직관과 다른 결론이 나오는 문제에서 중간에 한 번 틀리면 그럴듯한 오답이 만들어집니다.
4. 질문이 모호하면 빈칸을 추측으로 채운다
조건이 빠진 질문을 받으면, AI는 되묻기보다 그럴듯한 가정을 세워 답하는 경우가 많습니다.
예시: 직관과 다른 확률 문제
문제. 어떤 병에 걸린 사람은 전체의 1%입니다. 이 병을 확인하는 검사는 환자의 99%를 양성으로 찾아내고, 건강한 사람도 1%는 양성으로 잘못 판정합니다. 검사에서 양성이 나왔다면, 실제로 병에 걸렸을 확률은?
많은 사람이, 그리고 AI도 종종 "99%"라고 답하기 쉽습니다. 하지만 1만 명을 예로 들어 세어 보면 다릅니다.
- 환자 100명 중 99명이 양성
- 건강한 9,900명 중 1%인 99명도 양성
- 양성인 사람은 모두 198명이고, 그중 실제 환자는 99명
따라서 정답은 약 50%입니다. 문장으로 된 설명만 들으면 그럴듯한 오답을 그대로 믿기 쉽지만, 직접 숫자로 세어 보면 바로 확인할 수 있습니다. 게임 「적발」의 최고 난이도 시험에도 이 문제가 나오는데, 게임 속 AI 안경도 이 문제를 자주 틀립니다.
확신에 찬 말투 ≠ 정답
AI가 "확실합니다"라고 말한다고 해서 정답일 가능성이 높아지는 것은 아닙니다. 말투와 정확도는 별개입니다. 오히려 틀린 답일수록 단정적으로 말해 의심을 놓치게 만들 수 있습니다. 시험 문제의 정답을 AI의 말투로 판단하면 안 되는 이유입니다.
시험 공부에 AI를 제대로 쓰는 법
- 답 대신 풀이 과정을 요청하고, 직접 검산하세요. 각 단계가 맞는지 스스로 따라가 보는 과정이 실력이 됩니다.
- 근거와 출처를 물어보고 원문을 확인하세요. 특히 법령, 시험 규정, 연도와 숫자는 공식 자료로 다시 확인합니다.
- 개념 설명을 들은 뒤 내 말로 다시 설명해 보세요. 설명하지 못하는 부분이 아직 모르는 부분입니다.
- 오답 노트의 '틀린 이유'를 함께 분석하세요. 답을 고치는 것보다 왜 틀렸는지 아는 것이 다음 시험에 도움이 됩니다.
- 연습 문제를 만들어 달라고 해 보세요. 단, 문제와 해설이 맞는지는 교재로 확인합니다.
시험장에서는 쓰면 안 되는 이유
시험 중 AI 기기를 사용하는 것은 대부분의 시험에서 명백한 부정행위입니다. 적발되면 시험 무효와 응시 제한은 물론 형사 책임이 문제될 수도 있습니다(부정행위 처벌 정리 참고). 게다가 위에서 본 것처럼 AI의 답이 틀릴 수도 있습니다. 큰 위험을 감수하고도 오답을 받아 적을 수 있다는 뜻입니다.