ChatGPT、Bard等我們習以為常的AI工具，竟可能成為駭客組建大規模殭屍網路的幫兇？資安研究揭露一種名為「幻覺佔位」（HalluSquatting）的新型攻擊手法，正悄然威脅著全球網路安全。這項發現指出，即使是市面上最受歡迎的9款AI工具，都可能被利用來執行惡意活動，顛覆了我們對AI安全性的認知。
什麼是「幻覺佔位」（HalluSquatting）？揭開AI的盲點
根據資安研究機構的最新報告，一種名為「幻覺佔位」（HalluSquatting）的創新攻擊手法正浮出水面，其核心原理是利用大型語言模型（LLM）的固有弱點——當它們無法確定答案時，傾向於「一本正經地胡說八道」，而非直接承認「我不知道」。這種「幻覺」現象在AI領域早已不是秘密，但「幻覺佔位」的獨特之處在於，它將這種生成虛假資訊的能力武器化，使其成為駭客的新利器。
研究人員發現，駭客可以透過精心設計的提示詞（prompt），引導AI模型生成看似合理但實際上不存在的程式庫、API、網站域名或軟體套件名稱。這些由AI「憑空捏造」的資訊，對於人類使用者而言，往往難以辨識真偽，特別是在快速查詢或開發過程中，更容易誤信。這不僅暴露了LLM在資訊準確性上的根本性挑戰，更為網路犯罪分子開啟了一扇意想不到的後門，讓他們能利用AI的「自信」來佈局惡意活動，將無害的「幻覺」轉化為潛在的資安威脅。
駭客如何利用熱門AI工具組建殭屍網路？
「幻覺佔位」攻擊的危險之處，在於它提供了一條巧妙且難以察覺的途徑，讓駭客能夠組建大規模的殭屍網路（botnet）。這項攻擊通常遵循以下步驟進行：
- 誘發幻覺：駭客會透過一系列精心設計的提示詞，誘使大型語言模型（LLM）生成看似真實但實際上不存在的軟體庫名稱、API端點、開發工具或域名。例如，AI可能會自信地建議一個名為「SecureNetLib」的Python函式庫，但這個函式庫實際上並不存在。
- 搶先佔位：接著，駭客便會搶先註冊或建立與這些AI「幻覺」出來的名稱相符的實際存在物，例如註冊「securenetlib.com」這個域名，或是發佈一個同名的惡意軟體套件到公共程式碼儲存庫（如PyPI或npm）。
- 植入惡意：駭客在這些「合法外觀」的套件或網站中植入惡意程式碼。
- 引誘誤用：一旦這些惡意實體建立完成，當其他開發者或使用者在尋求解決方案時，若依賴AI模型生成程式碼或建議，並在不經意間採用了這些「幻覺佔位」的資訊，就可能下載並執行含有惡意程式碼的軟體包或訪問惡意網站。
這些受感染的機器隨後便會成為殭屍網路的一部分，被駭客遠端操控，用於發動DDoS攻擊、發送垃圾郵件、竊取資料等惡意活動，其規模和破壞力不容小覷。
哪些「明星級」AI工具榜上有名？高達9款主流模型受影響
根據資安研究的結果，這波「幻覺佔位」的威脅幾乎涵蓋了市面上最受歡迎的9款大型語言模型（LLM）工具，包括了由OpenAI開發的ChatGPT系列、Google的Bard（現已整合至Gemini）、Meta的Llama系列，以及Anthropic的Claude等。這份榜單幾乎囊括了當前AI領域的「明星級」產品，顯示出這並非單一模型的缺陷，而是LLM技術在處理不確定資訊時的普遍性挑戰。
這些模型之所以容易受到攻擊，正是因為它們被訓練成要提供「有用」且「流暢」的回答，即使在知識庫中缺乏相關資訊時，也會傾向於生成看似合理但實際上是憑空捏造的內容。研究人員指出，這些模型在面對特定查詢時，會以極高的「自信度」生成虛假的程式庫名稱、API接口或指令，讓使用者難以察覺其中潛藏的惡意。這項發現不僅對AI開發商敲響了警鐘，也提醒廣大使用者，即使是聲譽卓著的AI工具，其生成內容的真實性和安全性也需要保持高度警惕，不能盲目信任，以免成為駭客「幻覺佔位」攻擊的受害者。
台灣企業與開發者該如何防範？給AI使用者的實用建議
面對「幻覺佔位」這種新型攻擊，台灣的企業和開發者在使用AI工具時，必須提升資安意識並採取積極的防範措施。我們為您整理以下實用建議：
- 養成驗證資訊的習慣：當AI工具提供程式碼片段、函式庫名稱或任何外部資源時，切勿直接複製貼上或盲目使用，務必透過官方文件、知名社群論壇或可靠的搜尋引擎進行交叉驗證，確認其真實性和安全性。
- 對不明來源的套件保持警惕：在安裝任何新的軟體套件或函式庫之前，務必仔細檢查其發布者、下載量、貢獻者歷史以及是否有任何安全警報。對於那些AI建議但名稱陌生、下載量極低或缺乏社群支持的套件，應提高警覺。
- 優先參考官方文件與權威資源：在開發過程中，應以專案的官方文件、程式語言的標準庫說明，以及業界公認的權威指南為主要參考依據，而非將AI生成的內容視為唯一的黃金標準。
- 建立內部資安規範：企業應建立內部資安規範，鼓勵開發者進行程式碼審查（code review），並考慮在沙盒（sandbox）環境中測試AI建議的程式碼，以降低潛在風險。
透過這些多層次的防護策略，才能有效降低「幻覺佔位」攻擊帶來的威脅，確保AI應用環境的安全。
AI安全未來趨勢：開發商與使用者共同的挑戰
「幻覺佔位」攻擊的浮現，不僅是資安領域的一個新警訊，更凸顯了AI安全在未來發展中的重要性與挑戰性。對於AI開發商而言，這項研究促使他們必須重新審視大型語言模型（LLM）的設計哲學。未來，AI模型可能需要被訓練得更為「謙遜」，當資訊不確定時，能夠明確地表示「我不知道」，而不是自信地編造內容。
這可能涉及更精密的知識圖譜整合、事實查核機制，甚至是內建的風險評估模組，以識別並標記潛在的幻覺內容。同時，開發商也應加強模型輸出內容的溯源能力，讓使用者能追溯資訊來源。對於廣大AI使用者而言，則需要培養更強的批判性思維和數位素養。我們不能將AI視為無所不知的「神諭」，而是應將其視為一個強大的輔助工具，其提供的資訊仍需經過人類的判斷與驗證。AI安全的未來，將是開發商不斷精進模型，與使用者共同學習、適應新威脅的過程。這是一場沒有終點的競賽，唯有雙方攜手合作，才能共築更安全的AI生態系。
常見問題
什麼是「幻覺佔位」（HalluSquatting）？
「幻覺佔位」是一種利用大型語言模型（LLM）「一本正經胡說八道」的特性，誘使它們生成不存在的軟體名稱、API或域名。隨後，駭客搶先註冊這些名稱，並在其中植入惡意程式，最終導致使用者因誤用AI生成的虛假資訊而受感染的資安攻擊手法。
哪些AI工具容易受到「幻覺佔位」攻擊？
根據研究，包括OpenAI的ChatGPT系列、Google的Bard（現已整合至Gemini）、Meta的Llama系列，以及Anthropic的Claude等在內的9款主流大型語言模型工具都可能受到影響，因為它們在處理不確定資訊時，傾向於生成看似合理但虛假的內容。
一般使用者和開發者如何防範這類攻擊？
最重要的是對AI生成的內容保持警惕，務必進行多方驗證，特別是涉及軟體套件、API或網站連結時。優先參考官方文件，避免直接複製貼上不明來源的程式碼，並對陌生或下載量低的軟體套件保持高度懷疑。企業也應建立內部資安規範並進行程式碼審查。
「幻覺佔位」攻擊提醒我們，AI雖然帶來便利，但也伴隨著新型資安風險。無論是AI開發商還是廣大使用者，都應攜手合作，提升對AI生成內容的辨識能力與安全意識，共同打造一個更值得信賴的AI應用環境。
資料來源：Ars Technica