AI 환각 현상이란? 변호사가 꼭 알아야 할 환각

판단은 여전히 변호사의 몫, AI 환각부터 짚어 봅니다

세무사 시험 수석 합격자가 자수했습니다. 시험장에서 문제를 찍어 생성형 AI에 보냈고, 응시자 평균이 30점대였던 세법 과목에서 만점을 받았습니다. AI 안경을 썼다는 의혹이 돌았지만 본인이 밝힌 도구는 초소형 카메라였습니다.

씁쓸한 건 시험장에서 벌어진 일만이 아닙니다. 몇 년을 매달려야 붙는 전문직 시험을 AI가 사진 한 장으로 풀어 냈습니다. 변호사라고 남의 일 같지 않습니다. AI가 이만큼 하면, 이제 사람은 필요 없어지는 걸까요.

이번 달 법원에서 나온 설문을 보면 꼭 그렇지는 않습니다. 법원행정처가 법관 360명에게 물었더니, 대다수가 AI가 만든 허위 판례가 담긴 서면을 받아 봤다고 답했습니다. 그런 서면을 낸 쪽으로 소송대리인이나 변호인을 꼽은 법관도 136명이었습니다. AI가 쓴 것을 확인 없이 그대로 낸 서면들입니다. AI가 똑똑해질수록 그 답을 받아 판단하는 사람의 몫은 오히려 커집니다.

판단하려면 AI의 특성부터 알아야겠죠. AI에는 자주 틀리는 방식이 있습니다. 그중 가장 많이 알려진 게 환각입니다.

환각이란?

환각(hallucination)은 AI가 사실이 아니거나 근거에 없는 내용을, 사실인 것처럼 그럴듯하게 만들어 내는 현상을 말합니다. 흔히 할루시네이션이라고도 부릅니다. AI 연구자들은 환각을 보통 두 가지로 나눕니다.

구분

뜻

판례로 치면

Factuality hallucination
(사실성 환각)

사실과 다른 말

판례 자체가 가짜
번호를 검색하면 안 나옴

Faithfulness hallucination
(충실성 환각)

근거와 다른 말

판례는 진짜, 내용이 다름
판결문을 읽어야 보임

판례 자체가 가짜인 쪽은 많이 알려진 그 환각입니다. 존재하지 않는 판례나 조문을 그럴듯한 번호와 함께 만들어 내는 것이죠.

없는 판례를 지어내는 환각 예시: AI가 댄 판례 번호가 검색되지 않는다

AI가 왜 이런 가짜를 만드는지는 지난 5월 글에 적었습니다.

이쪽은 비교적 잘 거를 수 있습니다. 직접 확인해 보면 되니까요. 범용 AI도 예전보다 이런 일이 줄었고, 판례 리서치 AI 툴도 많아졌습니다.

판례 번호는 맞는데 내용이 다른 환각

변호사에게 더 까다로운 건, 판례는 진짜인데 내용이 다른 faithfulness 환각입니다. 판례 번호도 맞고 기록 쪽수도 맞는데, 그 판결이나 문서에는 AI가 말한 내용이 없습니다. 판시 취지를 반대로 읽었거나, 기록 속 문장을 엉뚱한 결론에 갖다 붙인 경우입니다.

있는 판례에 없는 말을 붙이는 환각 예시: 번호는 검색되지만 판결문에 그 말이 없다

번호 검색으로는 걸리지 않습니다. 붙어 있는 판례가 전부 검색에 나오면 확인이 끝났다고 여기기 쉽죠. 스탠퍼드·예일 연구진도 법률 AI 도구를 시험하면서, 답이 틀린 경우와 함께 출처가 그 말을 뒷받침하지 않는 경우를 환각으로 셌습니다.

결국 판결문을 직접 읽고 판단하는 수밖에 없습니다.

일부만 읽은 답

조심할 특성이 하나 더 있습니다. 자료가 많을 때 AI가 일부만 읽고 답하는 것입니다. 증인 진술 열 개를 정리해 달라고 했는데 여덟 개만 보고 「진술이 대체로 일치한다」고 답하는 식입니다.

적힌 말이 틀린 건 아니지만, 남은 두 개에 다른 이야기가 있었다면, 그 답을 믿고 쓴 서면은 중요한 한 줄을 놓친 채 나갑니다. 다 못 읽었다는 말이 없으니 쓰는 사람이 먼저 의심해 봐야 합니다.

AI 허위 판례 사례와 법원의 대응

판단을 건너뛴 결과는 서면에 이름을 올린 사람이 떠안습니다. 올해 5월에는 로펌이 낸 서면에 AI가 만든 허위 판례가 들어갔고, 패소한 의뢰인이 뒤늦게 그걸 찾아냈다는 보도가 있었습니다.

법원도 움직이고 있습니다. 법원행정처는 3월에 소송비용 부담과 변협 징계 의뢰를 대응책으로 꺼냈고, 이번 설문 뒤에는 소송법을 고쳐 과태료 근거를 마련하는 방안을 추진한다고 밝혔습니다.

어느 사례든 AI가 쓴 문장이 확인 없이 서면까지 간 경우입니다. AI가 아무리 좋아져도, 그 사이의 판단은 사람이 해야 합니다.


아이렉스가 판단을 돕는 방식

이제 AI를 쓰느냐 마느냐 하는 시대는 지났습니다. 각 분야에서 어떻게 사용해야 하는지 고민이 필요합니다. 판단은 변호사의 몫이니, 아이렉스는 판단하기까지의 일에 주목했습니다.

기록을 몇 번씩 다시 넘기며 필요한 쪽을 찾고, 진술마다 몇 쪽에 있었는지 메모하고, 거래내역을 한 줄씩 대조하는 일이죠.

아이렉스는 이런 번거로운 일을 줄이는 데 AI를 씁니다.

아이렉스는 사건 단위로 일하는 AI입니다. 사건 기록이 이미 들어가 있는 상태에서 대화가 시작되니, 물을 때마다 어떤 파일을 넣었는지 챙길 필요가 없습니다. 답의 근거를 누르면 기록이나 조문 원문이 바로 옆에 열려서, 판결문과 기록을 따로 찾아 넘기는 대신 그 자리에서 읽고 판단하면 됩니다.

AI가 시험을 대신 풀 수는 있어도, 서면에 이름을 올리고 판단하는 건 변호사입니다. 아이렉스는 그 판단에 쓸 시간을 돌려드립니다.

→ 아이렉스 가입하기


참고 자료

서울경제, 「세무사시험 수석 합격자, AI 부정행위 인정하고 경찰 자수」, 2026.11.15 · YTN, 「평균 30점인데 100점?…세무사 수석 합격자 'AI 안경' 의혹」, 2026.11.12 · 법률신문, 「판사 80% "AI 허위 판례 담긴 서면 받아봤다"」, 2026.11.02 · 머니투데이, 「AI가 만든 '허위 판례' 제출한 로펌…의뢰인이 패소 후 발견」, 2026.05.11 · 헤럴드경제, 「판사에 제출된 판례·증거, AI가 만든 가짜였다」, 2026.03.30 · Magesh 외, 「Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools」, Journal of Empirical Legal Studies, 2025 · Huang 외, 「A Survey on Hallucination in Large Language Models」, ACM Transactions on Information Systems, 2025(arXiv 2023)

추천 아티클

Purple Flower

ChatGPT가 판례를 지어낸다 — 변호사가 꼭 알아야 할 AI 할루시네이션

AI는 왜 가짜 판례를 지어낼까 — ChatGPT 할루시네이션의 정체

Purple Flower

[웨비나] 오늘 배우고 바로 쓰는 법률 AI 활용법

법률 AI, 써봤는데 실무에 연결이 안 된다면 — 아이렉스 웨비나

Purple Flower

AI로 거래내역 분석, 수천 행부터 왜 자꾸 틀릴까

AI에 거래내역 수천 행을 붙여넣으면 조용히 일부만 처리돼 잘못된 답변이 나오기 쉽습니다. 변호사가 AI로 금융거래와 자금 흐름을 제대로 분석하려면 어떻게 해야 할까요?

Purple Flower

법률 특화 AI는 범용 AI와 무엇이 다른가

챗GPT·클로드 같은 범용 AI는 사건 자료가 많아질수록 조용히 잘리고 할루시네이션이 늘어납니다. 법률 특화 AI 아이렉스는 사건을 구조화된 데이터로 다뤄 이 한계를 우회합니다. AI를 써본 변호사라면 무엇이 다른지 짚어봤습니다.

Purple Flower

변호사 AI, 같은 사건을 세 번씩 설명하고 있다면

챗GPT·클로드 같은 범용 AI는 대화가 길어지거나 창을 새로 열면 사건을 처음부터 다시 묻습니다. 변호사 AI를 제대로 쓰려면 대화가 아니라 사건을 기억해야 하는 이유, 사건 기반 AI는 무엇이 다른지 짚어봤습니다.

Purple Flower

증인신문사항, 증거에서 거꾸로 뽑아내기

증인신문사항은 예시를 베껴서가 아니라 사건 증거에서 거꾸로 뽑아냅니다. 전체 증거를 근거로 반대신문 논리를 세우는 법, 변호사 AI가 신문 준비의 앞단을 어떻게 덜어주는지 짚어봤습니다.

Purple Flower

아이렉스 증거분석 똑똑하게 활용하기 — 변호사 사건기록 AI 활용법

변호사를 위한 사건기록 AI 분석 활용법. 사건 요약, 쟁점 정리, 증거 찾기, 진술 비교, 거래내역 분석에 바로 활용할 수 있는 아이렉스 채팅 질문 예시를 소개합니다.

Purple Flower

AI 환각 현상이란? 변호사가 꼭 알아야 할 환각

AI 환각(할루시네이션)이 무엇인지, 변호사 서면에서 실제로 생긴 판례 환각 사례와 함께 정리했습니다. 세무사 시험도 AI가 만점 받는 시대, 변호사가 판단해야 할 것을 짚어 봅니다.

Purple Flower

공소청 열람등사 기다리다 공판 코앞, 수천 쪽 기록 정리하는 법

공소청 열람등사를 기다리다 공판 직전에 받은 형사 증거기록이 수천 쪽이라면? 증거목록대로 나누고 AI 분석 보고서로 사건 흐름부터 잡는 법을 정리했습니다.

A2D2

소개

블로그

기능 소개

대표이사 김윤우 · 장일준 | 서울 강남구 테헤란로83길 51 (삼성동, 정목빌딩) 2층

cs@ailex.co.kr | 02-538-3337

사업자 등록번호 242-88-03370 | 통신판매신고 제2025-서울강남-06934호

Copyright 2024 © A2D2 Inc. All rights reserved.

A2D2

소개

블로그

기능 소개

대표이사 김윤우 · 장일준 | 서울 강남구 테헤란로83길 51 (삼성동, 정목빌딩) 2층

cs@ailex.co.kr | 02-538-3337

사업자 등록번호 242-88-03370 | 통신판매신고 제2025-서울강남-06934호

Copyright 2024 © A2D2 Inc. All rights reserved.

대표이사 김윤우 · 장일준

서울 강남구 테헤란로83길 51 (삼성동, 정목빌딩) 2층

cs@ailex.co.kr | 02-538-3337

사업자 등록번호 242-88-03370 | 통신판매신고 제2025-서울강남-06934호

Copyright 2024 © A2D2 Inc. All rights reserved.