Prompt Injection 也能拿來防守？AI Agent 安全新招 context bombing 是什麼

Prompt injection 通常被理解成攻擊：把隱藏指令塞進網頁、文件、圖片或 repo，誘導 AI Agent 做出不該做的事。但當 AI Agent 開始被用來自動掃描、攻擊、寫 exploit，防守者也開始反過來思考：能不能用內容本身影響惡意 agent 的行為，讓它停止、繞路或露出痕跡。

Prompt injection 過去常被視為攻擊手法，但最新資安討論開始出現把類似技巧用於防守的 context bombing：讓惡意 hacking agents 在讀到特定內容後停止或暴露行為。

本篇查證來源

• Ars Technica：Now, defenders are embracing the prompt injection, too
• OWASP GenAI Security：LLM01:2025 Prompt Injection
• MITRE ATLAS：LLM Prompt Injection

本文參考 Ars Technica 2026-07-13 報導與 OWASP GenAI Security Project LLM01:2025 Prompt Injection。Ars 原文因站點限制無法完整擷取，本文只採用搜尋結果與公開摘要可確認的主題方向，技術定義與防守建議以 OWASP 可查證內容為主。

先講結論

• Prompt injection 是讓模型行為被輸入內容意外改變的風險。
• OWASP 把 direct 與 indirect prompt injection 都列為 LLM01 風險。
• context bombing 的概念是把防守內容放進攻擊 agent 會讀到的上下文。
• 這不是萬能防護，不能取代權限控管、輸出驗證與人類核准。
• AI Agent 越能自動操作，越需要 least privilege 與高風險動作審核。

目前可以確認的事

• OWASP 定義 prompt injection 是使用者 prompt 改變 LLM 行為或輸出的漏洞。
• OWASP 說 indirect prompt injection 會發生在 LLM 接受網站、檔案等外部來源內容時。
• OWASP 列出可能影響包含敏感資訊洩漏、未授權功能存取、任意命令執行與決策操控。
• OWASP 建議限制模型行為、定義輸出格式、過濾輸入輸出、最小權限、人類核准、區分外部內容與對抗測試。
• Ars Technica 搜尋摘要將 context bombing 描述為讓 hacking agents 停止的防守用 prompt injection 類技巧。

Prompt injection 先用一句話理解

Prompt injection 就是把模型會讀到的內容變成指令，讓 AI 做出原本不該做的事。它可以是使用者直接輸入，也可以藏在網頁、PDF、README、圖片或資料庫內容裡。

傳統軟體會區分資料與指令，但 LLM 很容易把兩者混在同一個上下文裡。這也是為什麼 OWASP 會把 prompt injection 列成 LLM Top 10 的第一項風險。

當 AI 只是聊天，風險多半是回答錯或洩漏資訊；當 AI Agent 能讀檔、跑命令、發 email、改程式，風險就變成真實操作。

context bombing 是什麼概念

context bombing 可以粗略理解成：防守者在惡意 agent 可能讀到的內容裡放入干擾或停止訊號，讓 agent 的上下文被防守內容影響。它像是把攻擊者常用的 prompt injection 技巧反過來使用。

這個概念之所以受到注意，是因為越來越多攻擊工具也開始使用 AI Agent。當攻擊方的 agent 會自動讀網頁、文件與程式碼，防守方就有機會在這些內容中放入陷阱或干擾。

但這不是傳統防火牆，也不是保證有效的安全產品。它更像是多層防禦中的一個干擾層，不能取代基本資安。

AI Agent 安全為什麼變重要

AI Agent 安全最大的變化，是模型不只回答，而是能行動。只要它能呼叫工具、開檔案、存取 API、執行命令，prompt injection 的後果就會變大。

OWASP 也明確提到，prompt injection 的影響取決於系統架構給模型多少 agency。模型權限越高、可操作功能越多，風險越高。

因此防守重點不是只叫模型『不要被騙』，而是讓模型就算被騙，也沒有權限直接做出高風險動作。

一般使用者和開發者要怎麼防

第一層是最小權限。不要把能刪資料、轉帳、發信、部署或讀機密的權限直接交給 AI Agent。工具權限應該比使用者權限更小，而不是更大。

第二層是外部內容隔離。網站、PDF、README、客戶信件都應該被標示為不可信內容，不能讓它們直接覆蓋系統指令或開發者指令。

第三層是人類核准。涉及刪除、付款、外部發送、改 production、存取私密資料時，要有明確確認，而不是讓 AI 自動完成。

context bombing 的限制

把 prompt injection 拿來防守聽起來很有趣，但不能過度依賴。惡意 agent 可能不讀你的內容，可能有防 prompt injection 設計，也可能只抓結構化資料不看文字。

更重要的是，防守性 prompt 也可能造成誤傷。如果正常搜尋引擎、助理或安全掃描器讀到干擾內容，可能影響正常分析。

所以它適合被視為研究與補充防線，而不是主要安全策略。主要防線仍然是權限、驗證、監控、隔離與審核。

照著做：可驗證使用步驟

步驟一：列出 AI Agent 能做哪些動作

風險大小取決於 agent 有多少權限。

• 列出可呼叫工具。
• 標記會改資料、發送、刪除或執行命令的功能。
• 把高風險動作改成人類確認。

驗證方式：OWASP 建議 least privilege 與 high-risk human approval。

步驟二：把外部內容標成不可信

indirect prompt injection 常藏在網頁、檔案或外部來源裡。

• 將外部資料包在明確邊界中。
• 禁止外部內容改寫系統規則。
• 要求模型引用來源而不是直接執行指令。

驗證方式：OWASP 建議 segregate and identify external content。

步驟三：做小型對抗測試

沒有測試，很難知道 agent 是否會被隱藏指令帶走。

• 準備含明顯惡意指令的測試文件。
• 觀察 agent 是否照做。
• 把失敗案例加入回歸測試。

驗證方式：OWASP 建議 adversarial testing and attack simulations。

Prompt injection 防守層級

使用前檢查清單

• 不要讓 AI Agent 直接拿最高權限。
• 外部文件都視為不可信。
• 高風險操作一定要人工確認。
• 把 prompt injection 測試放進安全檢查。
• 不要把 context bombing 當成唯一防護。

FAQ：常見問題

Prompt injection 和 jailbreak 一樣嗎？

OWASP 說兩者常被混用；prompt injection 是操控模型行為或輸出，jailbreak 通常是讓模型忽略安全規則的一種形式。

context bombing 可以保證擋住攻擊 agent 嗎？

不行。它只能被視為補充干擾技巧，主要防線仍是最小權限、隔離、輸出驗證與人工確認。

一般使用者需要擔心嗎？

如果只是聊天，風險較低；如果你讓 AI 讀外部文件、跑命令或自動操作帳號，就需要特別小心。

最重要的防守是什麼？

先把 AI Agent 權限降到最低，再要求高風險動作人工確認。這比只靠提示詞更可靠。