研究人員揭露AI防禦系統的關鍵弱點

無堅不摧的幻覺：主要 AI 防禦在自適應壓力下瓦解

在一項震撼人工智慧安全社群的揭露中，來自 OpenAI、Anthropic 和 Google DeepMind 的研究人員聯盟揭示了業界最受信賴防護系統中的關鍵弱點。這項本週發表的突破性研究表明，12 種廣泛發表的 AI 防禦機制——先前被宣稱幾乎沒有失敗率——在遭受「自適應攻擊（adaptive attacks）」時，繞過成功率超過 90%。

這一發現打破了既有的假設，即當前的大型語言模型（large language model, LLM）防護措施足以抵禦有決心的對抗性行為者。隨著 AI 代理日益整合到企業基礎設施和關鍵決策流程中，此類系統性弱點的曝光突顯出感知安全與實際魯棒性之間的危險落差。

「攻擊者後手（Attacker Moves Second）」原則

研究人員批評的核心在於過去對 AI 防禦評估方式的根本缺陷。傳統安全基準通常基於靜態操作：提出一項防禦，並使用既有的已知攻擊庫進行測試。如果防禦能阻擋這些已知威脅，即被視為安全。

然而，新研究主張這種方法極度天真。它假設「攻擊者先行」並且保持靜態。在現實情況中，具備高度技巧的對手採用「攻擊者後手」範式。他們會分析特定的防禦機制，並優化攻擊策略以繞過它。

透過應用這種自適應方法——使用從梯度式最佳化（gradient-based optimization）到人類引導的強化學習（Reinforcement Learning, RL）等技術——研究人員得以拆解先前報告幾乎無瑕疵表現的防禦。研究顯示，過去被認為的「魯棒性」不過是「晦澀」，只在攻擊者不仔細觀察時有效。

方法論：防禦如何瓦解

研究團隊採取多面向的方法來探查這 12 個目標防禦，涵蓋多樣技術，例如困惑度（perplexity）過濾、輸入轉換與輔助大型語言模型監控。

自適應攻擊框架使用四個主要管道：

梯度式最佳化（Gradient-Based Optimization）： 在可取得模型權重的情況下，利用數學方式計算觸發被限制輸出的精確輸入。
強化學習（RL）： 訓練對抗模型自動發現可繞過過濾器的提示結構。
隨機搜尋與模糊測試（Random Search & Fuzzing）： 大量自動突變輸入，尋找防禦邏輯的「盲點」。
人工紅隊（Human Red-Teaming）： 專業安全研究人員根據對防禦架構限制的理解，手動構造提示。

結果一致且令人震驚。依賴「祕密」機制或靜態關鍵字的防禦幾乎瞬間被繞過。較複雜的防禦雖能抵抗粗淺攻擊，但在攻擊優化針對其特定檢測邏輯時亦迅速崩潰。

弱點拆解

這些防禦宣稱的效能與在自適應壓力下的實際表現之間存在明顯落差。下表總結了研究人員在不同防禦機制類別中識別出的效能差距。

**防禦類別	原先宣稱的失敗率	自適應攻擊成功率**
Perplexity-Based Filtering	< 2%	> 94%
Input Transformation/Sanitization	< 5%	> 91%
LLM-based Supervisor Models	< 1%	> 88%
Token-Level Adversarial Detection	< 1%	> 96%
Prompt Structure Analysis	< 3%	> 92%

注意：「原先宣稱的失敗率」代表初期論文中報告防禦未能阻止攻擊的百分比。「自適應攻擊成功率」代表本次新研究中成功繞過防禦的攻擊百分比。

「自適應（Adaptive）」範式轉變

這項研究強制 AI 安全領域進行範式轉變。它指出，現有一代防禦常對特定、已知基準發生「過擬合」。當防禦被調校以阻止某一特定資料集的「越獄（jailbreak）」提示時，就會產生虛假的安全感。

研究人員主張，真正的魯棒性無法透過靜態測試來證明。相反，安全主張必須透過嚴格的對抗壓力測試來驗證，在這種測試中應賦予「紅隊（Red Team）」充分了解防禦實作的權限（白箱測試，white-box testing）。這與傳統資安領域的既定做法相呼應，在該領域「依賴晦澀來達到安全（security by obscurity）」普遍被拒絕。

其中最令人擔憂的面向之一是「基於大型語言模型的監督者」失敗——這些次要的 AI 模型負責監管主要模型。研究顯示，這些監督者與其被設計保護的模型一樣易受對抗性操弄，形成遞迴性的弱點迴路。

產業影響：呼籲嚴謹的紅隊測試

對於企業決策者與 AI 開發者而言，該報告是一道緊急行動的號角。依賴現成的防護包裝或未經內部壓力測試的學術技術，已不再是可行的安全策略。

產業關鍵要點包含：

放棄靜態基準： 安全評估必須超越在靜態資料集上的「通過/失敗」。持續且自適應的紅隊測試是必要的。
投資人類在回路（Human-in-the-Loop）測試： 自動化防禦持續被人類引導的攻擊壓倒，顯示人類直覺仍是安全驗證的重要成分。
深度防禦（Defense-in-Depth）： 沒有單一防線能固若金湯。系統設計必須假設外層護欄會被突破，因而需要內部監控與遏制機制。

OpenAI、Anthropic 與 Google DeepMind 的研究人員參與此一揭露，顯示該領域正進入成熟階段。透過承認自身生態系統防禦的脆弱性，這些研究單位正朝向更透明且強化的 AI 安全方式轉變。

結論

12 項頂級 AI 防禦能以 90% 的成功率被拆解，對 AI 產業而言是一個令人羞愧的時刻。它凸顯了該領域安全標準的嬰兒期，以及潛在威脅的複雜性。隨著我們邁入 2026 年，焦點必須從部署「完美」的防護移轉為建構能抵禦不可避免的自適應、智慧型攻擊的韌性系統。靜態 AI 安全的時代已經結束；自適應防禦的時代已經開始。