
판단은 여전히 변호사의 몫, AI 환각부터 짚어 봅니다
세무사 시험 수석 합격자가 자수했습니다. 시험장에서 문제를 찍어 생성형 AI에 보냈고, 응시자 평균이 30점대였던 세법 과목에서 만점을 받았습니다. AI 안경을 썼다는 의혹이 돌았지만 본인이 밝힌 도구는 초소형 카메라였습니다.
씁쓸한 건 시험장에서 벌어진 일만이 아닙니다. 몇 년을 매달려야 붙는 전문직 시험을 AI가 사진 한 장으로 풀어 냈습니다. 변호사라고 남의 일 같지 않습니다. AI가 이만큼 하면, 이제 사람은 필요 없어지는 걸까요.
이번 달 법원에서 나온 설문을 보면 꼭 그렇지는 않습니다. 법원행정처가 법관 360명에게 물었더니, 대다수가 AI가 만든 허위 판례가 담긴 서면을 받아 봤다고 답했습니다. 그런 서면을 낸 쪽으로 소송대리인이나 변호인을 꼽은 법관도 136명이었습니다. AI가 쓴 것을 확인 없이 그대로 낸 서면들입니다. AI가 똑똑해질수록 그 답을 받아 판단하는 사람의 몫은 오히려 커집니다.
판단하려면 AI의 특성부터 알아야겠죠. AI에는 자주 틀리는 방식이 있습니다. 그중 가장 많이 알려진 게 환각입니다.
환각이란?
환각(hallucination)은 AI가 사실이 아니거나 근거에 없는 내용을, 사실인 것처럼 그럴듯하게 만들어 내는 현상을 말합니다. 흔히 할루시네이션이라고도 부릅니다. AI 연구자들은 환각을 보통 두 가지로 나눕니다.
구분 | 뜻 | 판례로 치면 |
|---|---|---|
Factuality hallucination | 사실과 다른 말 | 판례 자체가 가짜 |
Faithfulness hallucination | 근거와 다른 말 | 판례는 진짜, 내용이 다름 |
판례 자체가 가짜인 쪽은 많이 알려진 그 환각입니다. 존재하지 않는 판례나 조문을 그럴듯한 번호와 함께 만들어 내는 것이죠.

AI가 왜 이런 가짜를 만드는지는 지난 5월 글에 적었습니다.
이쪽은 비교적 잘 거를 수 있습니다. 직접 확인해 보면 되니까요. 범용 AI도 예전보다 이런 일이 줄었고, 판례 리서치 AI 툴도 많아졌습니다.
판례 번호는 맞는데 내용이 다른 환각
변호사에게 더 까다로운 건, 판례는 진짜인데 내용이 다른 faithfulness 환각입니다. 판례 번호도 맞고 기록 쪽수도 맞는데, 그 판결이나 문서에는 AI가 말한 내용이 없습니다. 판시 취지를 반대로 읽었거나, 기록 속 문장을 엉뚱한 결론에 갖다 붙인 경우입니다.

번호 검색으로는 걸리지 않습니다. 붙어 있는 판례가 전부 검색에 나오면 확인이 끝났다고 여기기 쉽죠. 스탠퍼드·예일 연구진도 법률 AI 도구를 시험하면서, 답이 틀린 경우와 함께 출처가 그 말을 뒷받침하지 않는 경우를 환각으로 셌습니다.
결국 판결문을 직접 읽고 판단하는 수밖에 없습니다.
일부만 읽은 답
조심할 특성이 하나 더 있습니다. 자료가 많을 때 AI가 일부만 읽고 답하는 것입니다. 증인 진술 열 개를 정리해 달라고 했는데 여덟 개만 보고 「진술이 대체로 일치한다」고 답하는 식입니다.
적힌 말이 틀린 건 아니지만, 남은 두 개에 다른 이야기가 있었다면, 그 답을 믿고 쓴 서면은 중요한 한 줄을 놓친 채 나갑니다. 다 못 읽었다는 말이 없으니 쓰는 사람이 먼저 의심해 봐야 합니다.
AI 허위 판례 사례와 법원의 대응
판단을 건너뛴 결과는 서면에 이름을 올린 사람이 떠안습니다. 올해 5월에는 로펌이 낸 서면에 AI가 만든 허위 판례가 들어갔고, 패소한 의뢰인이 뒤늦게 그걸 찾아냈다는 보도가 있었습니다.
법원도 움직이고 있습니다. 법원행정처는 3월에 소송비용 부담과 변협 징계 의뢰를 대응책으로 꺼냈고, 이번 설문 뒤에는 소송법을 고쳐 과태료 근거를 마련하는 방안을 추진한다고 밝혔습니다.
어느 사례든 AI가 쓴 문장이 확인 없이 서면까지 간 경우입니다. AI가 아무리 좋아져도, 그 사이의 판단은 사람이 해야 합니다.
아이렉스가 판단을 돕는 방식
이제 AI를 쓰느냐 마느냐 하는 시대는 지났습니다. 각 분야에서 어떻게 사용해야 하는지 고민이 필요합니다. 판단은 변호사의 몫이니, 아이렉스는 판단하기까지의 일에 주목했습니다.
기록을 몇 번씩 다시 넘기며 필요한 쪽을 찾고, 진술마다 몇 쪽에 있었는지 메모하고, 거래내역을 한 줄씩 대조하는 일이죠.
아이렉스는 이런 번거로운 일을 줄이는 데 AI를 씁니다.
아이렉스는 사건 단위로 일하는 AI입니다. 사건 기록이 이미 들어가 있는 상태에서 대화가 시작되니, 물을 때마다 어떤 파일을 넣었는지 챙길 필요가 없습니다. 답의 근거를 누르면 기록이나 조문 원문이 바로 옆에 열려서, 판결문과 기록을 따로 찾아 넘기는 대신 그 자리에서 읽고 판단하면 됩니다.
AI가 시험을 대신 풀 수는 있어도, 서면에 이름을 올리고 판단하는 건 변호사입니다. 아이렉스는 그 판단에 쓸 시간을 돌려드립니다.
참고 자료
서울경제, 「세무사시험 수석 합격자, AI 부정행위 인정하고 경찰 자수」, 2026.11.15 · YTN, 「평균 30점인데 100점?…세무사 수석 합격자 'AI 안경' 의혹」, 2026.11.12 · 법률신문, 「판사 80% "AI 허위 판례 담긴 서면 받아봤다"」, 2026.11.02 · 머니투데이, 「AI가 만든 '허위 판례' 제출한 로펌…의뢰인이 패소 후 발견」, 2026.05.11 · 헤럴드경제, 「판사에 제출된 판례·증거, AI가 만든 가짜였다」, 2026.03.30 · Magesh 외, 「Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools」, Journal of Empirical Legal Studies, 2025 · Huang 외, 「A Survey on Hallucination in Large Language Models」, ACM Transactions on Information Systems, 2025(arXiv 2023)







