AI 환각이 무너뜨린 '신뢰의 피라미드'

AI 환각이 무너뜨린 ‘신뢰의 피라미드’

― 딜로이트 44만 달러 보고서 사건이 남긴 경고

2024년 초, 호주 정부가 복지 정책 검토를 위해 글로벌 컨설팅 기업 딜로이트(Deloitte)에 의뢰한 보고서에서 심각한 오류가 발견되었습니다. 44만 호주 달러(약 5억 원)를 지불한 이 보고서에는 존재하지 않는 판례 17건, 허위 출처 23개, 그리고 실제로는 출판되지 않은 학술 자료 인용이 포함되어 있었습니다.

이 오류들은 AI 언어모델이 생성한 내용이 적절한 검증 없이 그대로 제출되면서 발생했습니다. 단순한 실수를 넘어, 이 사건은 전문 서비스 산업의 신뢰 체계와 공공 정책 수립 과정에 대한 근본적인 질문을 던집니다.

1. 신뢰 위에 세워진 산업의 균열

딜로이트를 비롯한 Big 4 컨설팅 회사들은 수십 년간 정부와 기업의 의사결정에서 핵심적 역할을 해왔습니다. 이들이 높은 수수료를 받는 이유는 단순히 문서를 작성하는 것이 아니라, 검증된 전문성과 책임 있는 조언을 제공하기 때문입니다.

그러나 이번 사건에서 그 핵심 가치가 작동하지 않았습니다. 딜로이트는 이후 성명을 통해 “AI 도구 사용 시 내부 검증 프로세스가 제대로 작동하지 않았다”고 인정했습니다. 회사 측은 프로젝트 팀이 시간 압박 속에서 AI 생성 콘텐츠를 과도하게 의존했으며, 선임 파트너의 최종 검토가 형식적으로 이루어졌다고 설명했습니다.

문제는 기술 자체가 아니라 사람의 판단이 빠진 워크플로우였습니다.

2. AI 환각 — 그럴듯한 거짓의 메커니즘

이 오류를 처음 발견한 인물은 시드니 대학교의 법학자 크리스 러지^{Chris Rudge}였습니다. 그는 보고서에 인용된 판례를 확인하던 중 여러 건이 실존하지 않는다는 사실을 발견했습니다. 러지는 “처음엔 제 실수라고 생각했지만, 계속 찾아도 해당 판례가 어디에도 없었다”고 회상했습니다.

AI 언어모델의 ‘환각(hallucination)’은 모델이 학습 데이터에 없는 정보를 마치 사실인 것처럼 생성하는 현상입니다. 모델은 통계적 패턴을 기반으로 그럴듯한 문장을 만들어내지만, 실제 사실 여부는 확인하지 않습니다. “Smith v. Johnson (2019)” 같은 판례명은 법률 문서의 전형적 패턴이기에 AI는 자연스럽게 생성하지만, 그것이 실제로 존재하는지는 알지 못합니다.

이런 오류가 전문가의 검증 없이 공공 정책 문서에 포함될 때, 그것은 단순한 기술적 결함을 넘어 민주적 의사결정 과정의 근간을 흔드는 문제가 됩니다.

3. ‘AI 슬롭’ — 검증 없는 콘텐츠의 범람

이 현상을 일부 전문가들은 ‘AI 슬롭(AI Slop)’이라 부릅니다. 이 용어는 AI가 대량으로 생성하는 저품질 콘텐츠를 지칭하며, 2023년부터 기술 커뮤니티에서 사용되기 시작했습니다. 문제는 AI가 만드는 콘텐츠가 표면적으로는 그럴듯해 보인다는 점입니다.

딜로이트 사건은 AI 슬롭이 개인 블로그나 소셜미디어를 넘어 전문 서비스 영역까지 침투했음을 보여줍니다. 다음과 같은 연쇄 효과가 우려됩니다:

전문가 집단이 AI 출력을 맹신하면서 검증 역량이 퇴화
저품질 보고서가 정책 결정의 근거가 되면서 연쇄적 오류 발생
다른 조직들도 “딜로이트도 이렇게 하는데”라며 검증을 생략

4. 책임은 누구에게 있는가

딜로이트는 사건 이후 관련 직원들에 대한 내부 징계를 진행했으며, AI 사용에 대한 새로운 가이드라인을 마련했다고 밝혔습니다. 호주 정부는 이에 대응해 컨설팅 계약 시 AI 사용 여부 및 범위를 명시하도록 의무화했습니다. 또한 AI로 생성된 콘텐츠에 대해서는 독립적 검증을 요구하고, 제출 문서의 출처 추적 가능성을 강화하는 조치를 도입했습니다.

하지만 규제만으로는 충분하지 않습니다. 이 문제는 제도보다 문화와 관행에 더 깊이 뿌리박혀 있기 때문입니다.

조직 차원에서는 시니어 전문가들이 형식적이 아닌 실질적인 검토를 할 수 있도록 충분한 시간을 확보해야 합니다. AI 도구를 사용할 때는 자동화된 검증 체크리스트를 운영하여 필수 확인 사항을 빠뜨리지 않도록 해야 합니다. 무엇보다 품질보다 속도를 우선시하는 조직문화를 개선하지 않는다면, 같은 문제가 반복될 수밖에 없습니다.

개인 차원에서도 변화가 필요합니다. 전문가들은 AI가 생성한 내용에 대해 비판적으로 검증하는 습관을 길러야 합니다. 특히 인용문이나 통계, 판례처럼 사실 확인이 가능한 정보는 반드시 원전을 직접 확인해야 합니다. 편리함에 기대어 검증을 생략하는 것은 전문가로서의 윤리적 책임을 저버리는 행위입니다.

결국 이 사건이 던지는 질문은 명확합니다. 기술이 주는 효율성과 전문가가 지켜야 할 신뢰 사이에서, 우리는 무엇을 선택할 것인가? 답은 둘 중 하나를 포기하는 것이 아니라, 기술을 사용하되 책임은 절대 양도하지 않는 것입니다.