딜로이트, 기업에서의 AI 에이전트 배치가 안전 프레임워크를 앞서고 있다고 경고

거대한 에이전트형 AI(Agentic AI) 스프린트: 배포 속도가 안전 프로토콜을 앞서다

엔터프라이즈 환경은 수동적인 생성형 AI(Generative AI) 도구에서 복잡한 워크플로를 실행할 수 있는 자율적인 에이전트형 AI로의 지각 변동 직전에 있습니다. 그러나 Deloitte의 새 보고서는 중요한 경고를 울립니다. 채택 속도는 눈부시게 빨라지고 있는 반면, 이러한 자율 시스템을 관리하는 데 필요한 안전 프레임워크는 위험할 정도로 뒤처지고 있습니다.

Deloitte의 조사에 따르면 현재 21%의 조직만이 AI 에이전트(AI agents)에 대해 엄격한 거버넌스나 감독 메커니즘을 갖추고 있습니다. 이 통계는 예상 채택률과 극명한 대조를 이룹니다. AI 에이전트의 사용은 단 2년 내에 23%에서 74%로 급증할 것으로 예상됩니다. 기업들이 자율 에이전트의 생산성 향상을 활용하기 위해 서두르면서, 이른바 "거버넌스 격차"는 데이터 프라이버시, 보안 및 책임성 관련 중대한 위험을 초래합니다.

에이전트형 엔터프라이즈의 부상

전통적 생성형 AI(Generative AI)와 에이전트형 AI의 구분은 결정적입니다. 표준 대형 언어 모델(대형 언어 모델(Large Language Models, LLMs))은 프롬프트에 따라 텍스트나 코드를 생성하는 반면, AI 에이전트는 인지하고, 추론하며 행동하도록 설계되어 있습니다. 이들은 독립적으로 소프트웨어를 탐색하고, 거래를 수행하며, 광범위한 목표를 달성하기 위해 결정을 내릴 수 있습니다.

이 능력은 비채택 조직 비율이 앞으로 몇 년 내에 25%에서 5%로 감소할 것이라는 예측을 견인합니다. 조직들은 단순한 실험 단계에 머무르지 않고, 에이전트가 디지털 노동자로서 작동하는 생산 수준의 배포로 나아가고 있습니다. 그러나 Deloitte는 파일럿에서 생산 단계로 넘어가면서 "Cyber AI Blueprints"를 마련하지 않으면 체계적 위험을 초래한다고 경고합니다.

거버넌스 공백: 제동 없는 혁신

Deloitte 경고의 핵심은 AI 에이전트가 본질적으로 악의적이라는 것이 아니라, "맥락이 부족하고 거버넌스가 약한" 상태로 배포되고 있다는 점입니다. 전통적 소프트웨어 환경에서는 행동이 하드코딩되어 예측 가능합니다. 그러나 에이전트형 환경에서는 AI가 "어떻게"를 결정하며, 종종 의사결정 과정을 불투명하게 만듭니다.

견고한 안전 장치가 없으면 에이전트는 환각(hallucination)을 일으키거나 무한 루프에 빠지거나 규정 준수를 넘어서는 행동을 실행할 수 있습니다. 보고서는 불투명한 시스템은 보험에 들기가 "거의 불가능하다"고 강조합니다. 보험사는 "블랙 박스" 의사결정자의 위험을 정확히 평가할 수 없기 때문입니다.

보고서에서 지적한 주요 위험:

맥락 과부하(Context Overload): 에이전트에 지나치게 많은 접근 권한을 부여하면 예측 불가능한 행동을 초래합니다.
관찰성 부족(Lack of Observability): 에이전트가 특정 행동을 취한 이유를 추적할 수 없음.
단편화된 시스템(Fragmented Systems): 실제 데이터의 불일치로 인해 데모에서는 성공했던 에이전트가 실패함.

Deloitte의 프레임워크: 계층적 자율성(Tiered Autonomy)과 사이버 AI 블루프린트(Cyber AI Blueprints)

혁신과 안전 사이의 격차를 메우기 위해 Deloitte는 "계층적 자율성(Tiered Autonomy)" 전략을 제안합니다. 이 접근법은 조직이 에이전트에 즉시 완전한 제어 권한을 부여해서는 안 된다고 제안합니다. 대신 에이전트의 입증된 신뢰성과 작업의 위험 수준에 따라 권한이 단계적으로 확장되는 등급화된 권한 시스템을 구현해야 합니다.

다음 표는 제안된 거버넌스 모델의 운영 수준을 설명합니다.

Table: Tiered Autonomy Levels for AI Agents

Autonomy Level	Operational Scope	Human Oversight Requirement
Level 1: Read-Only	에이전트는 데이터를 조회하고 질의에 응답할 수 있으나 시스템을 변경할 수 없음.	낮음: 정확성에 대한 사후 감사.
Level 2: Advisory	에이전트는 데이터를 분석하고 제안이나 계획을 제공함.	중간: 인간이 검토하고 실행 여부를 결정해야 함.
Level 3: Co-Pilot	에이전트는 엄격한 가드레일 내에서 제한된 행동을 수행함.	높음: 실행을 위해 명시적 인간 승인 필요.
Level 4: Autonomous	에이전트는 낮은 위험의 반복 작업에 대해 독립적으로 행동함.	전략적: 로그 모니터링; 경보 시에만 개입.

이 구조는 거버넌스 계층이 조직 통제에 직접 내장되는 "사이버 AI 블루프린트(Cyber AI Blueprints)" 개념을 반영합니다. 즉, 규정 준수는 사후 고려사항이 아니라 배포의 전제 조건이 됩니다.

"거버넌스된 자율성(Governed Autonomy)"에 대한 전문가 관점

업계의 합의는 Deloitte의 구조 요구와 일치합니다. Kovant의 CEO인 Ali Sarrafi는 "거버넌스된 자율성(Governed Autonomy)"의 필요성을 강조합니다. 그는 에이전트를 인간 직원과 동일한 관리 엄격성 아래 두어야 한다고 주장합니다 — 정의된 경계, 명확한 정책, 구체적 역할.

"명확한 경계를 가진 잘 설계된 에이전트들은... 명확한 가드레일 내에서 저위험 작업을 빠르게 수행할 수 있지만, 행동이 정의된 위험 임계값을 넘을 경우 인간에게 에스컬레이션합니다,"라고 Sarrafi는 언급했습니다.

고영향 결정에 대한 이러한 "human-in-the-loop(인간 개입)" 접근법은 에이전트를 신비한 봇에서 감사 가능한 시스템으로 전환합니다. 세부적인 행동 로그를 유지하고 복잡한 작업을 더 좁은 과제로 분해함으로써, 기업은 실패가 치명적인 오류로 이어지기 전에 조기에 감지되도록 보장할 수 있습니다.

보험 및 책임성 측면

Deloitte 보고서의 흥미로운 측면은 AI 거버넌스(AI governance)와 보험 간의 관계입니다. 에이전트가 이메일을 보내거나 자금을 이체하거나 민감한 데이터를 관리하는 등 실제 행동을 취하기 시작하면서, 책임 범위가 바뀝니다.

보험사는 점점 불투명한 AI 배포에 대한 보장을 꺼리고 있습니다. 보장을 확보하려면 조직은 에이전트가 엄격한 권한의 "상자" 안에서 작동하고 모든 행동이 기록되어 재생 가능하다는 것을 입증해야 합니다. 투명성은 더 이상 단지 윤리적 선택이 아니라 위험 전가를 위한 재무적 필수 조건입니다.

인력의 미래 대비

기술은 방정식의 절반에 불과합니다. Deloitte는 안전한 도입을 위해서는 "AI 리터러시(AI Literacy)"에 대한 교육을 받은 인력이 필요하다고 강조합니다. 직원들은 다음을 이해해야 합니다:

데이터 위생(Data Hygiene): 에이전트에게 절대 공유해서는 안 되는 정보는 무엇인지.
개입(Intervention): 에이전트가 빗나갈 때 이를 어떻게 무효화하는지.
회의적 사고(Skepticism): 자율 시스템에서 비정상적 행동을 어떻게 식별하는지.

채택률이 74%에 다다를수록 경쟁 우위는 에이전트를 가장 빨리 배포한 조직에게 돌아가는 것이 아니라, 신뢰를 유지하는 데 필요한 가시성과 통제를 갖추고 배포한 조직에게 돌아갈 것입니다. "빠르게 움직여 부수는(move fast and break things)" 시대는 끝났습니다. 에이전트형 AI 시대의 새로운 만트라는 "가드레일과 함께 빠르게 움직여라(move fast with guardrails)"입니다.