양날의 검: 설리번 앤 크롬웰(Sullivan & Cromwell)이 법률 AI에 던지는 경종
생성형 AI(Generative AI)가 전문 분야를 빠르게 변화시키는 시대에, 법률 산업은 기술 도입에 있어 가장 위험 부담이 큰 영역 중 하나로 남아 있습니다. 최근 유명 로펌인 설리번 앤 크롬웰은 머신러닝의 한계와 관련하여 반면교사가 될 만한 사건의 중심에 섰습니다. 해당 로펌은 법원에 제출한 서류에 자동화 도구가 생성한 존재하지 않는 법적 판례, 즉 "AI 환각(AI hallucinations)"이 포함된 사실이 드러난 후 공식 사과문을 발표했습니다. 이 사건은 적절한 인간의 감독 없이 정교한 AI 모델을 엄격한 법률 업무 흐름에 통합할 때 발생하는 위험을 극명하게 보여줍니다.
Creati.ai는 업무 현장에서 AI의 궤적을 꾸준히 추적해 왔습니다. 대규모 언어 모델(LLM)과 같은 도구들이 문서 작성 및 리서치 분야에서 전례 없는 효율성을 제공하지만, 설리번 앤 크롬웰 사례는 이러한 플랫폼의 내재된 변동성을 잘 보여줍니다. 법적 진실을 검증하는 대신 다음에 올 있음 직한 단어를 예측하도록 설계된 알고리즘이 존재하지 않는 인용구를 만들어낼 때, 그 전문적 영향은 매우 클 수 있습니다.
법률 제출물에서의 AI 환각 이해하기
"AI 환각"이라는 용어는 생성형 모델이 그럴듯하고 권위 있게 들리는 콘텐츠를 생성하지만, 사실이 아니거나 완전히 허구인 내용을 만들어내는 현상을 의미합니다. 법원 제출 서류에서 이러한 오류는 단순한 기술적 결함이 아닙니다. 이는 변호사가 법원에 대해 가지는 진실 의무(duty of candor)를 위반하는 행위입니다.
법률 AI 모델은 왜 오류를 범하는가?
현재 생성형 AI 모델의 기본 구조는 확률적 패턴에 의존합니다. 복잡한 질문이 주어지면 모델은 광범위한 데이터셋을 탐색하여 응답을 구성합니다. 요청받은 정보가 부재하거나 불명확할 경우, 모델은 반드시 "모르겠다"고 답하지 않습니다. 대신 실제 법적 인용구와 유사한 언어 패턴을 조합하여 공백을 채우려 하며, 이로 인해 모델의 디지털 구조 내부에서만 존재하는 유령 법령이나 판례가 생성됩니다.
산업 표준에 미치는 영향
설리번 앤 크롬웰에서 발생한 사건은 일류 로펌들에 충격을 주었으며, 현재의 "인간 참여(human-in-the-loop)" 프로토콜을 재평가하게 만들었습니다. 로펌들이 경쟁력을 유지하기 위해 AI 도입을 서두르는 가운데, 강력한 검증 프레임워크의 필요성은 그 어느 때보다 시급해졌습니다.
다음 표는 법률 리서치 및 작성 분야에서 AI를 배포할 때 발생하는 주요 위험을 요약한 것입니다:
| 위험 요소 | 설명 | 완화 전략 |
|---|---|---|
| 출처 조작 | 실제처럼 보이지만 존재하지 않는 AI 생성 인용구. | 기본 법률 데이터베이스를 통한 필수 검증. |
| 맥락 오정렬 | 사건의 미묘한 차이나 관할권별 법률을 잘못 해석함. | 인간 법률 전문가와 초안 교차 검토. |
| 데이터 보안 우려 | 권한이 있는 고객 정보를 공개 AI 도구에 업로드할 위험. | 샌드박스 처리된 기업용 비공개 모델 인스턴스 사용. |
| 투명성 결여 | AI가 결론에 도달한 과정에 대한 설명 가능성 부족. | AI 보조 작업에 대한 명확한 공개 정책 구현. |
균형 잡힌 AI 전략을 향하여
설리번 앤 크롬웰의 사과는 유명 기관조차 기술 전환 과정에서 겪는 성장통에서 자유로울 수 없다는 증거입니다. 유사한 실수를 피하기 위해 법률 조직은 "AI 우선 속도"라는 사고방식에서 "AI 우선 정확성"으로 전환해야 합니다.
위험 완화를 위한 모범 사례
- 필수 인용 검증: AI 도구가 생성한 모든 인용구는 신뢰할 수 있는 비생성형 법률 데이터베이스를 사용하여 교차 검증해야 합니다. 로펌은 AI를 "작성자"가 아닌 "조수"로 활용하는 정책을 채택해야 합니다.
- 전문 교육 프로그램: 변호사는 생성형 AI의 본질에 대해 교육받아야 합니다. 모델이 왜 환각을 일으키는지 이해하는 것이 오류를 효과적으로 식별하는 첫걸음입니다.
- 내부 거버넌스 프레임워크: 로펌은 중요 서류에 소프트웨어를 사용하기 전, 성능을 감사할 책임을 지는 내부 AI 거버넌스 위원회를 설립해야 합니다.
향후 전망: 법률 기술의 미래
이번 사건으로 드러난 장애물에도 불구하고 AI를 완전히 거부하는 것은 실수일 것입니다. 문서 검색, 계약 검토, 복잡한 사건 파일 요약 분야에서의 효율성 향상은 여전히 매우 큽니다. 업계의 목표는 이러한 도구를 포기하는 것이 아니라, 방어적 아키텍처와 통합하는 것입니다.
AI 솔루션 개발자들이 실시간 웹 검색 및 근거 기반 검증(ground-truth verification)을 포함하도록 모델을 지속적으로 개선함에 따라, 전문화된 "Legal-GPT" 변형 모델이 급증할 것으로 예상합니다. 이 모델들은 창의적인 흐름보다 정확성을 우선시하며, 검색 증강 생성(RAG) 기술을 사용하여 모든 결과물이 검증된 실제 법률 문서에 근거하도록 보장합니다.
결국 설리번 앤 크롬웰과 같은 로펌들에게 주는 교훈은 명확합니다. AI는 생산성을 높이는 강력한 도구이지만, 훈련되지 않은 사람의 손에서는 무딘 도구로 남을 것입니다. 법의 미래는 경험 많은 실무자의 지적 엄격함과 인공지능의 계산 속도를 성공적으로 결합하는 사람들에게 달려 있으며, 서류에 서명하는 인간의 손에 진실에 대한 책임이 있다는 사실을 결코 잊어서는 안 됩니다.
