AI 기반 피해 보고서 50% 급증 — 딥페이크(Deepfake) 사건이 전통적 실패를 능가하다

인공지능 안전 환경이 극적인 변화를 겪고 있습니다. **AI Incident Database (AIID)**의 데이터에 대한 새로운 분석에 따르면, AI 관련 피해로 보고된 사건이 2022년에서 2024년 사이 연간 기준으로 50% 증가했습니다. 더 우려스러운 점은, 2025년 처음 10개월의 데이터가 이미 2024년의 총계를 넘어섰다는 사실로, 이는 일시적 급증이 아니라 가속화되는 추세를 나타냅니다.

산업 관찰자와 Creati.ai의 이해관계자에게 이 데이터는 기술적 위험의 성격이 중대한 전환점에 있음을 확인시켜 줍니다. 과거에는 AI 사건이 주로 자율주행차 오류나 정적 시스템의 알고리즘 편향에 의해 지배되었지만, 생성형 AI(Generative AI)의 확산은 딥페이크(Deepfake), 악의적 사용, 합성 미디어 사기로 정의되는 새로운 시대를 불러왔습니다.

사고에서 악의적 사용으로의 전환

최근 데이터에서 가장 눈에 띄는 발견은 AI가 해를 초래하는 방식(how)의 근본적 변화입니다. 2018년에서 2022년 사이에는 보고된 사건의 주요 원인이 시스템 한계—자율주행차가 자전거 이용자를 감지하지 못하거나 안면 인식 시스템의 인종적 편향 등—인 경우가 많았습니다. 그러나 강력한 생성 모델의 등장으로 이 역학이 뒤바뀌었습니다.

2023년 이후로는 특히 딥페이크 영상과 관련된 사건이 자율주행 차량, 안면 인식, 콘텐츠 검열 알고리즘과 관련된 보고를 합친 것보다 더 많은 수를 기록했습니다. 이는 시스템이 의도한 대로 작동하지 않아 발생하는 "AI 사고"에서, 시스템이 정확히 의도대로 작동하지만 해로운 목적으로 사용되는 "악의적 사용"으로의 전환을 의미합니다.

분석에서 확인된 주요 추세는 다음과 같습니다:

• 악의적 행위자: AI를 이용해 피해자에게 사기를 치거나 허위정보를 퍼뜨리는 개인들에 대한 보고가 2022년 이후 8배 증가했습니다.
• 생성 우위: 딥페이크 영상과 이미지 생성 문제는 이제 사건 기록을 지배하고 있으며, Midjourney, OpenAI의 Sora, xAI의 Grok와 같은 도구의 접근성 증가가 이를 가속화했습니다.
• 사이버보안 위험: 코딩 어시스턴트를 가로채 사이버 공격에 이용하는 등 민감한 영역에서 새로운 위협이 나타나고 있습니다.

사건 데이터 분석

이 문제의 규모를 이해하려면 AI Incident Database와 MIT FutureTech 연구진이 제공한 원시 수치를 살펴보는 것이 중요합니다. 추세는 대형 언어 모델( Large Language Models, LLMs)의 본격적인 공개와 함께 보고된 피해가 기하급수적으로 증가하고 있음을 보여줍니다.

연간 보고된 AI 사건 수 (2020-2024)

데이터 출처: AI Incident Database / MIT AI Incident Tracker

Daniel Atherton, AI Incident Database의 편집자는 이 수치가 빙산의 일각에 불과할 가능성이 높다고 강조합니다. Atherton는 "AI는 이미 실제 세계에서 피해를 일으키고 있다"고 말합니다. "실패를 추적하지 않으면 이를 고칠 수 없습니다." 그는 군중 소싱 데이터에 한계가 있지만, 기업의 보고가 분산되어 있는 현재로서는 문제 규모를 엿볼 수 있는 몇 안 되는 유효한 창 중 하나라고 경고합니다.

"Unknown Developer" 문제

규제 당국과 안전 연구자들에게 가장 복잡한 과제 중 하나는 귀속(attribution)입니다. 주요 기술 대기업은 가시성이 높아 보고서에서 자주 인용되지만, 상당 부분의 AI 피해는 개발자가 확인되지 않은 도구에서 발생합니다.

2023년 이후 보고된 사건의 3분의 1 이상은 "Unknown" AI 개발자와 관련되어 있었습니다. 이는 종종 소셜 미디어 사기와 관련되어 발생하는데, 사용자가 Facebook이나 Instagram 같은 플랫폼에서 딥페이크 광고나 사기 투자 제안을 접하지만, 합성 미디어를 만든 특정 도구를 확인할 수 없는 경우입니다.

MIT FutureTech의 준회원 연구원 Simon Mylius는 이것이 데이터에 상당한 "노이즈"를 만든다고 지적합니다. 이를 해결하기 위해 그의 팀은 뉴스 보도를 파싱하고 사건을 더 정확하게 분류하기 위해 LLMs를 배치했습니다. 이 더 깊은 분석은 "AI-generated discrimination"과 같은 일부 범주는 2025년에 상대적으로 감소한 것으로 나타났지만, 사용자들이 챗봇에 비정상적으로 집착하거나 환각(hallucinating) 모델로 인해 "정신병(psychosis)"을 경험하는 등 "Computer-Human Interaction" 관련 사건이 증가하고 있음을 드러냅니다.

사례 연구: 피해의 속도

현 환경의 변동성은 xAI의 Grok와 관련된 최근 사건에서 극명하게 드러났습니다. 소프트웨어 업데이트 이후, 해당 모델이 실제 사람들의 동의 없는 성적 이미지(non-consensual sexualized images)를 생성하는 데 사용되었으며, 일부 연구자들의 추산으로는 시간당 6,700장의 이미지가 생성되었다고 합니다.

이 사건은 즉각적인 규제 반발을 초래했으며, 말레이시아와 인도네시아 정부의 차단 및 영국 미디어 감시기관의 조사를 불러일으켰습니다. 이는 안전 장치가 배포 전 철저히 테스트되지 않으면 "기술적 진보"가 어떻게 즉시 "대규모 피해"로 전환될 수 있는지를 보여주는 대표적 사례입니다. 이후 xAI는 이미지 생성 도구를 유료 가입자에게로 제한하고 실제 인물 이미지에 대한 차단을 강화했지만, 이 사건은 현재 안전 프로토콜의 대응적 성격을 부각시켰습니다.

규제 및 산업의 대응

보고서 급증은 EU AI Act와 캘리포니아의 Transparency in Frontier AI Act (SB 53) 같은 최근 입법 조치들의 긴박함을 입증했습니다. 이들 법안은 개발자가 안전에 중대한 사건을 보고하도록 의무화하여, 이론적으로는 미디어 보도에 대한 의존도를 낮추려는 목적을 가집니다.

그러나 산업계는 기술 표준을 통한 자체 규제도 시도하고 있습니다. 콘텐츠 진위 확인을 위해 워터마킹과 메타데이터 삽입 시스템을 구축하는 Content Credentials 이니셔티브는 다음과 같은 대기업들의 지지를 받고 있습니다:

• Google
• Microsoft
• OpenAI
• Meta
• ElevenLabs

특히 인기 이미지 생성기 Midjourney는 아직 이 새로운 표준을 완전히 채택하지 않아 생태계에 공백을 남기고 있습니다.

체계적 경계 유지의 촉구

Creati.ai에게 보고 사건 50% 증가는 경종입니다. 이는 AI 모델이 더 강력해질수록 잠재적 피해에 대한 "공격면(attack surface)"이 확장된다는 것을 시사합니다. Anthropic은 최근 자사의 Claude Code 어시스턴트를 이용하려는 대규모 사이버 공격을 차단했다고 밝혔으며, 이를 계기로 업계는 사이버보안 측면에서 AI가 "변곡점"에 도달했다고 선언했습니다.

AI Incident Database의 데이터는 AI 피해가 더 이상 가설적이거나 드문 현상이 아님을 입증합니다. 그것은 측정 가능하고, 증가하는 디지털 경제의 한 구성 요소가 되어가고 있습니다. Simon Mylius가 지적했듯이, 우리는 이러한 사건들이 "배경 소음"의 일부가 되도록 내버려 두어서는 안 됩니다. 딥페이크 물결의 갑작스러운 위기이든, 허위정보를 통한 신뢰의 점진적 침식이든 간에, 이들 실패를 추적하고 분석하는 것이 보다 안전한 AI 미래로 나아가는 유일한 길입니다.