알고리즘 실패의 막대한 비용

급변하는 법 집행 기술 환경 속에서, '알고리즘의 정밀성'이라는 약속은 공공 안전을 위한 혁신적인 도구로 자주 선전되어 왔습니다. 하지만 테네시주 출신의 50세 할머니 안젤라 립스(Angela Lipps)의 비극적인 사례는 인공지능(Generative AI) 시스템이 실패했을 때 인간에게 미치는 파괴적인 결과에 대한 냉엄한 경고가 됩니다. 립스는 방문한 적도 없는 주에서 발생한 은행 사기 용의자로 안면 인식 시스템에 의해 잘못 식별되는 바람에, 인생의 수개월을 잃고 집을 잃으며 개인적인 안정이 무너지는 등 5개월 이상을 감옥에서 보냈습니다.

2026년 3월에 밝혀진 이 사건은 검증되지 않은 AI 기반 수사 도구 배포에 내재된 심각한 위험을 부각합니다. 전국의 경찰 부서가 안면 인식(facial recognition) 소프트웨어를 표준 운영 절차에 점점 더 많이 통합함에 따라, 립스 사례는 투명성, 책임성, 그리고 빠르지만 결코 완벽하지 않은 자동화 시스템에 대한 의존도 증가에 대해 중요한 의문을 제기합니다.

식별 오류의 해부

이 시련은 노스다코타주 파고 당국이 위조 군인 신분증을 사용하여 수만 달러를 훔친 용의자가 연루된 은행 사기 사건에 대한 수사를 시작하면서 시작되었습니다. 수사 과정은 결국 수십억 개의 이미지를 소셜 미디어와 공개 인터넷에서 수집하여 방대한 식별 데이터베이스를 구축하는 것으로 알려진 논란의 여지가 있는 안면 인식 플랫폼인 클리어뷰 AI(Clearview AI)의 사용으로 이어졌습니다.

보고서에 따르면, 시스템은 가해자와 테네시주에서 1,000마일 이상 떨어진 곳에 살고 있던 안젤라 립스(Angela Lipps) 사이에 일치하는 결과를 생성했습니다. 지리적 거리와 다른 보강 증거의 부족에도 불구하고, 해당 일치는 영장을 발부받기에 충분한 것으로 간주되었습니다. 7월 14일, 손주들을 돌보고 있던 립스는 체포되었습니다.

그 뒤를 이은 것은 5개월간의 고통스러운 수감 생활이었습니다. 12월이 되어서야 선임된 법률 대리인이 은행 기록과 영상 증거를 확보하여 그녀가 노스다코타 범죄 발생 시각에 테네시에서 피자를 주문하고 주유소를 방문했다는 사실을 입증했고, 그제야 그녀에 대한 사건은 종결되었습니다. 립스는 크리스마스 이브에 석방되었지만, 경제적 파산, 재산 손실, 억울한 옥살이로 인한 심리적 피해는 이미 발생한 후였습니다.

기술적 신기루: AI의 한계 이해

이 사건의 핵심 문제는 단순한 '오류'가 아니라, AI 도구가 인식되는 방식과 실제 작동 방식 사이의 구조적 취약성입니다. 안면 인식 기술은 정체성을 '알고' 있는 것이 아니라, 쿼리 이미지와 잠재적 일치 데이터베이스 사이의 수학적 유사성 점수를 계산합니다.

신뢰도 점수의 문제점

법 집행 기관은 종종 이러한 시스템으로부터 신뢰도 점수순으로 나열된 '잠재적 일치' 목록을 받습니다. 그러나 이러한 점수는 오해의 소지가 있을 수 있습니다. 여기에는 노화에 따른 변화, 조명 변화, 또는 입력 데이터의 품질과 다양성에 따라 결과가 왜곡되는 학습 데이터셋의 내재적인 'AI 편향(AI bias)'이 반영되지 않습니다.

다음 표는 전통적인 수사 방식과 종종 결함이 있는 AI 자동 식별 의존 방식을 대조합니다.

자동화 편향의 위험성

립스 사례에서 가장 우려되는 측면 중 하나는 '자동화 편향(automation bias)'으로 알려진 현상입니다. 이는 인간이 자동화된 의사 결정 시스템의 제안을 선호하고 모순되는 정보를 무시하는 경향을 말합니다. 경찰관이 '첨단' AI 시스템의 보고서를 받으면, 그 보고서를 진실로 받아들이려는 심리적 성향이 생깁니다.

이러한 편향은 사실상 입증 책임을 전도합니다. 경찰이 기술을 보조적인 참고 자료로 사용하여 사건을 구축하는 대신, 기술이 수사의 주된 동력이 됩니다. 파고 사건에서 당국은 "AI와 독립적인 추가 수사 단계"를 거쳤다고 확인했지만, 그러한 단계는 오류를 잡아내기에 분명히 불충분했으며, 이는 AI 결과가 처음부터 전체 수사를 잘못된 방향으로 고정시켰을 수 있음을 시사합니다.

알고리즘을 넘어서: 책임과 윤리

클리어뷰 AI는 오랫동안 시민권 단체, 개인정보 보호 옹호자, 심지어 주요 기술 기업들로부터 조사를 받아왔습니다. 사용자들의 명시적 동의 없이 페이스북(Facebook), 유튜브(YouTube), X(구 트위터)와 같은 플랫폼에서 사진을 수집하는 이 회사의 관행은 수많은 법적 분쟁을 불러일으켰습니다. 2022년 법적 합의를 통해 민간 기업에 대한 접근 권한 판매는 제한되었지만, 법 집행 기관과의 지속적인 파트너십을 위한 문은 열어두었습니다.

법적 및 윤리적 시사점은 다음과 같습니다.

• 구제 수단의 부족: 현재로서는 무고한 개인이 'AI가 생성한' 식별 결과에 대해 너무 늦어 이미 법적 시스템에 들어가기 전까지 이의를 제기할 수 있는 표준화된 메커니즘이 거의 없습니다.
• 데이터 품질 문제: AI 시스템이 인터넷상의 거대하고 통제되지 않은 데이터셋으로 학습됨에 따라, 특히 표면적인 신체적 유사성을 공유하는 개인들에 대해 '위양성(false positives)' 가능성이 증가합니다.
• 투명성 격차: 많은 법 집행 기관이 이러한 독점적인 도구를 '블랙박스' 계약하에 사용하고 있어, 변호인이 특정 식별 결과 이면의 방법론을 이해하기 어렵게 만들고 공정한 방어권을 저해합니다.

나아갈 길: 규제와 주의

안젤라 립스의 사례는 입법자들과 법 집행 기관 지도부에 경종을 울려야 합니다. AI 도구는 강력하지만 진실을 말하는 기계는 아닙니다. 인간의 개입을 통한 검증(human-in-the-loop verification), AI 결과 사용 방식의 투명성, 잘못된 체포에 대한 명확한 책임 프로토콜을 의무화하는 엄격한 규제 프레임워크가 없다면, 이러한 기술의 배치는 보호해야 할 시민의 기본권을 침해할 위험이 있습니다.

립스를 대리하는 변호사들이 민사 소송을 검토함에 따라, 광범위한 AI 커뮤니티는 혁신이 인간의 자유를 희생시키면서 이루어질 수 없다는 사실을 직면해야 합니다. 인공지능의 진화를 추적하는 Creati.ai와 같은 웹사이트의 경우, 서사는 명확합니다. 발전은 책임과 동행해야 합니다. 기술은 아무리 발전하더라도 법의 주인(master)이 아니라 종(servant)으로 남아야 합니다. 이러한 안전장치가 보편적으로 시행되기 전까지, 또 다른 부당한 체포(wrongful arrest)의 위험은 단순한 이론적 가능성이 아니라 통계적 확실성으로 남아 있습니다.