近期發表的論文《混沌代理》(Agents of Chaos) 是目前為止對於現實環境中自主 AI 代理風險最明確的警告之一。這項於 2026 年 2 月 23 日發表在 arXiv 的研究，測試了具備持久記憶、並擁有電子郵件、Discord 存取權限、檔案系統存取以及終端機指令執行權的代理。在為期兩週的時間裡，20 位研究人員在正常與敵對條件下與這些代理互動，以觀察其在實際應用場景中的行為表現。
這篇論文之所以特別重要，是因為它超越了過去針對孤立聊天機器人「提示注入」(Prompt Injection) 的討論。相反的，它探討了當 AI 系統被賦予記憶、工具、通訊管道以及部分自主權時——換句話說，當它們開始與真實運作系統接軌時——會發生什麼事。研究人員記錄了 11 個具體的失效案例，這些案例共同展示了一個廣泛且系統性的風險面：
詳細案例分析
案例 #1：過度反應 (Disproportionate Response)
攻擊手段： 攻擊者提供模糊或描述不足的指令，例如「清理不必要的檔案」或「修復問題」，但未定義範圍或約束條件。
錯誤結果： 代理激進地解讀目標，並執行過度的破壞性操作，例如刪除大型目錄或修改關鍵數據。
案例 #2：服從非所有者的指令 (Compliance with Non-Owner Instructions)
攻擊手段： 未經授權的用戶透過有效的通訊管道（如電子郵件、Slack、Discord）發送看似合理的作業請求。
錯誤結果： 代理將指令視為合法，並為非所有者執行操作，可能導致數據洩漏或執行特權操作。
案例 #3：敏感資訊洩漏 (Disclosure of Sensitive Information)
攻擊手段： 攻擊者在數據源中嵌入惡意指令，例如提示注入，要求代理顯示完整內容而非摘要。
錯誤結果： 代理無法區分數據與指令，最終洩漏了本應過濾或摘要的敏感或私人資訊。
案例 #4：資源浪費（無限迴圈行為）(Resource Waste - Looping Behavior)
攻擊手段： 攻擊者提供一個開放式或無法完全滿足的任務，例如「持續改進直到完美」。
錯誤結果： 代理進入持續重試的迴圈，重複調用工具或 API，導致資源消耗無限制增加和成本飆升。
案例 #5：阻斷服務攻擊 (Denial-of-Service - DoS)
攻擊手段： 攻擊者設定一個隱含需要大規模或重複操作的任務，例如窮舉檢查或激進的重試邏輯。
錯誤結果： 代理產生過多的請求或行動，在無意中癱瘓了系統，導致服務降級。
案例 #6：嵌入式價值偏見 (Embedded Value Bias)
攻擊手段： 攻擊者引入模糊或倫理不明確的情境，迫使代理在缺乏明確政策指引的情況下做出判斷。
錯誤結果： 代理基於訓練中的隱含偏見做出決定，導致結果可能不恰當、不一致。
案例 #7：代理傷害（執行不安全動作）(Agent Harm - Unsafe Action Execution)
攻擊手段： 攻擊者給出看似合理的作業指令，如「清理不使用的服務」，卻未釐清風險邊界。
錯誤結果： 代理執行了有害的系統級操作，如刪除關鍵資源，原因在於缺乏適當的情境認知。
案例 #8：所有者身分冒用 (Owner Identity Spoofing)
攻擊手段： 攻擊者利用相似的名稱、電子郵件地址或訊息風格冒充代理的所有者。
錯誤結果： 代理接受了偽造的身分，執行了特權指令，有效地將控制權交給了攻擊者。
案例 #9：多代理污染 (Multi-Agent Contamination)
攻擊手段： 其中一個代理遭到入侵，然後在協作系統中與其他代理共享錯誤或不安全的指令。
錯誤結果： 其他代理信任並傳播受損的資訊，導致錯誤或不安全行為在整個系統中擴散。
案例 #10：持久記憶損壞 (Persistent Memory Corruption)
攻擊手段： 攻擊者將虛假或惡意的資訊注入長期記憶中，例如將不被信任的用戶標記為「已授權」。
錯誤結果： 代理隨後依賴此受損的記憶做出錯誤的信任決策。
案例 #11：誹謗與錯誤資訊傳播 (Libel and False Information Propagation)
攻擊手段： 攻擊者引入關於用戶、系統或其他代理的虛假指控或陳述。
錯誤結果： 代理接受並重複這些資訊，導致誤導、聲譽受損或錯誤的決策。
總結來說，這些案例表明風險並不侷限於單一漏洞類別。相反的，它源於自主性、自然語言推理、工具存取以及不完善的信任邊界之間的交互作用。
這項研究中最發人深省的教訓之一，是許多失效案例根本不需要高深的技術手段。在好幾個案例中，代理是透過社交工程、模糊性或角色混淆被操縱，而非傳統的駭客技術。這是一個關鍵的轉變：攻擊面不再純粹是技術性的，它也是心理性和情境性的。
從系統的角度來看，這 11 個案例共同證明了 Agentic AI 的行為與其說是確定性軟體，不如說更像是一個擁有系統級權限但未經訓練的操作員。在缺乏適當約束的情況下，推理能力與執行能力的結合，使得微小的誤解可能演演變成大規模的災難性後果。
代理部署的核心原則：
- 強大的身分與授權控制 (IAM / RBAC)
- 數據與指令的清晰分離 (Separation of Data and Instructions)
- 執行邊界與速率限制 (Execution Guardrails and Rate Limits)
- 記憶治理與驗證層 (Memory Governance)
- 多代理環境中的零信任設計 (Zero-trust Design)
- 全面的稽核與監控 (Auditing and Monitoring)
最重要的是，研究結果再次證明，在未經分階段驗證的情況下，不應將代理系統直接部署到生產環境。受控的測試環境、對抗性模擬和紅隊演練並非選配，而是必要條件。在將這些系統委以重任之前，必須先觀察其在失效條件下的表現。