
企業安全領域正在經歷一場無聲的構造性變革。隨著強大的大型語言模型(LLMs)變得日益小巧且高效,運行高效能 AI 的門檻已實質上消失。如今,開發人員和資料科學家不再受限於基於雲端的 API 或企業門控的 AI 服務。相反,他們越來越傾向於使用本地的裝置端推論來進行工作。雖然這種創新為個人帶來了前所未有的速度和資料隱私,但也為 IT 和安全部門帶來了一個艱鉅的挑戰:影子 AI(Shadow AI)。
在 Creati.ai,我們觀察到 AI 模型的民主化——這些模型通常透過 Hugging Face 等平台分發——使得員工能夠繞過集中式的採購和監督。這種「自帶模型」(BYOM)趨勢代表了攻擊面的顯著擴大,將風險中心從資料中心轉移到了員工的筆記型電腦上。
影子 AI 是指員工在未經企業 IT 和安全營運團隊明確批准或知情的情況下,採用並使用 AI 工具、軟體或模型。與通常涉及基於雲端 SaaS 應用程式的傳統「影子 IT(Shadow IT)」不同,影子 AI 的獨特危險之處在於它完全在本地裝置上運行,且往往與網路監控工具斷開連接。
轉向本地運行是由於開發人員幾種實際但充滿風險的需求所驅動:
向本地推論的轉變掩蓋了資料傳輸的路徑。當模型在本地運行時,通常設計用於檢查進出企業網路流量的傳統資料外洩防護(DLP)工具就會變得形同虛設。
| 風險維度 | 說明 | 安全影響 |
|---|---|---|
| 資料外洩 | 模型可能在專有的內部資料集上進行訓練或微調。 | 來自本地儲存向量的資料外洩 |
| 漏洞繼承 | 開源模型可能包含惡意的權重或後門程式碼。 | 本地機器環境的入侵 |
| 治理盲點 | IT 部門缺乏對部署了哪些模型及其能力的能見度。 | 無法執行合規性或政策 |
| 智慧財產權 | 開發程式碼透過未經驗證的本地引擎進行處理。 | 專有軟體邏輯和 IP 的遺失 |
保護一個以「BYOM」為常態的環境,需要脫離傳統基於邊界的防禦。企業發現,當模型本身已被下載到硬碟時,傳統的封鎖機制(如停用特定的網頁聊天機器人)顯得力不從心。
當 AI 工作負載駐留在本機硬體上時,大多數安全堆疊所具備的「南北向」流量監控就會被規避。IT 部門正努力建立開發人員機器上實際運作內容的清單。
企業如何信任從第三方開源儲存庫下載的模型?遭受「投毒」模型的風險正在上升——這些模型可能被設計為洩漏資訊或提供有偏見的輸出。如果沒有對模型權重進行嚴格的掃描,企業本質上是在邀請未經審核的第三方二進位檔案進入其核心基礎設施。
當沒有 API 中介時,執行企業使用政策會變得困難得多。那些依賴伺服器端護欄來過濾有害或敏感內容的公司,發現自己在本地離線模型上沒有任何機制來執行這些相同的規則。
Creati.ai 建議,試圖完全禁止本地模型實驗是一場註定失敗的戰鬥。相反,焦點應轉向建立一個既能促進創新又保持能見度的「安全沙盒」。
對 AI 使用進行集中控制的時代正在迅速終結。隨著開發人員持續推動「裝置端」作業的極限,安全架構也必須進化並實現去中心化。影子 AI 是高速開發與刻板安全措施之間摩擦的症狀。透過利用更好的工具——而不是僅僅透過禁令——來解決前者,組織可以彌合這道鴻溝。
來年的挑戰不在於員工是否使用本地模型,而在於企業能否獲得所需的能見度,以確保這些模型不會變成資料外洩或安全入侵的管道。隨著我們在 Creati.ai 繼續監測 AI 與安全的交集,有一點很明確:安全性必須與它旨在保護的模型一樣靈活。