零信任 AI 安全是將零信任原則應用於人工智慧系統,要求對每個使用者、模型、資料來源和整合點進行持續驗證,並僅授予執行其功能所需的最小存取權限,不基於網路位置或之前的身分驗證授予隱含信任。它將 AI 系統視為高價值目標,要求與任何其他特權基礎架構同樣嚴格的存取控制。
傳統的安全邊界模型假設威脅來自網路外部,內部系統是可信任的。這個假設在 AI 到來之前就已經岌岌可危。AI 部署徹底打破了它。一個連接到內部資料庫、電子郵件、文件儲存庫和外部 API 的 AI 系統跨越了邊界模型無法定義、更無法防禦的信任邊界。它接受來自任何地方的輸入,從多個來源檢索內容,並在連接的系統中以序列形式執行動作,這是任何傳統存取控制模型都不是為治理而設計的。攻擊面不是一個定義好的邊界。它是 AI 系統可以遍歷的所有連線的完整集合、它將處理的全部內容範圍,以及它被授權執行的全部動作範圍。零信任 AI 安全透過用對每次互動、每次資料存取和 AI 系統執行的每個動作進行持續驗證來取代邊界假設,從而應對這個現實。本指南解釋了零信任原則如何具體應用於 AI 部署,在 AI 情境中七大支柱的樣貌,以及組織需要建構什麼才能使該模型在實務中發揮作用。
為什麼邊界安全對 AI 系統特別失效
互聯 AI 問題
傳統的企業應用程式具有一組定義好的使用者、一組定義好的功能,以及相對可預測的資料存取模式。安全團隊可以圍繞這些定義建構存取控制,監控偏差,並將異常視為潛在攻擊的訊號。行為的可預測性使得邊界安全即使不完美也能夠運作。
AI 系統,特別是代理式 AI 系統和連接到檢索管道的系統,並不具有相同意義上的可預測行為。它們的回應隨輸入而變化。它們存取的資料取決於執行階段產生的查詢,而不是預先定義的存取清單。它們透過連接工具執行的動作取決於被賦予的任務,而不是固定的功能集。圍繞系統所做工作的靜態定義建構的邊界安全無法跟上它實際存取和執行內容的動態現實。
提示注入攻擊直接利用了這個差距。能夠將惡意指令引入 AI 系統檢索或接收的任何內容的攻擊者,可能完全重新導向系統的行為,使其以繞過所有控制正常系統行為的邊界控制的方式存取資料、執行動作或暴露資訊。這種攻擊不會跨越網路邊界。它跨越了系統自身處理過程內的信任邊界,在邊界防禦無法監控的通道中。
零信任 AI 安全透過將驗證從網路邊界移到每個個別的互動來解決這個問題。它不是詢問使用者或系統是否在可信網路內,而是詢問這個特定請求,來自這個特定身分,針對這個特定資源,在這個特定時刻,是否被授權。這個問題是持續被詢問的,而不是在身分驗證時只問一次。
AI 如何放大信任違規的後果
零信任 AI 安全比傳統應用程式的零信任更重要的原因不是 AI 系統本身就不那麼安全。而是連接 AI 系統中信任違規的後果,因系統的連通性和自主性以傳統系統中等效違規所沒有的方式被放大。
傳統應用程式中被入侵的使用者帳戶會建立該使用者可以存取的存取權限。具有廣泛工具存取權限的被入侵或被操縱的 AI 代理可能在單一自動化序列中遍歷多個連接的系統、從多個來源外洩資料,並在多個平台上執行動作,這需要攻擊者大量的努力才能手動複製。使 AI 代理在合法任務中有價值的自動化,在其行為被操縱或存取被利用時,也使其在非法任務中高效。
零信任 AI 安全透過確保即使被成功操縱的 AI 系統也只能存取和影響在當前情境中獲得權限的特定資源,而不是繼承在身分驗證時授予並從未重新審視的廣泛存取權限,從而減少信任違規的影響半徑。
回顧 AI 安全架構關於存取範圍劃定和持續驗證的決策如何影響 AI 系統被入侵的實際影響半徑,有助於組織建構安全故障後果有界而非無界的部署。
應用於 AI 系統的零信任七大支柱
零信任安全圍繞七大支柱組織,這些支柱共同定義了完整的驗證和控制架構。應用於 AI 系統而非傳統應用程式時,每個支柱都呈現出特定的特徵和要求。
支柱一:身分驗證
在傳統零信任中,身分驗證涵蓋人類使用者和服務帳戶。在零信任 AI 安全中,身分表面擴展到包括需要驗證的 AI 模型本身作為一個身分,代表使用者行事的代理需要為存取控制目的與那些使用者區分開來,以及 AI 系統用於存取連接資源的服務帳戶需要以與人類特權帳戶相同的嚴格性進行管理。
對存取 AI 系統的人類使用者而言,持續身分驗證而非基於工作階段的身分驗證是零信任標準。多因素身分驗證、監控異常使用模式的行為分析,以及根據所請求內容的敏感性調整驗證要求的情境感知存取政策,都適用於 AI 系統部署。
對於自主執行的 AI 代理而言,身分挑戰是維持代理的存取範圍被限定到其執行的特定任務,而不是繼承啟動它的人類使用者的完整存取權限的原則。代表使用者執行研究任務的代理應該具有研究存取權限,而不是使用者的完整存取足跡。這種範圍劃定需要明確的身分架構,而不是許多代理架構實作的預設繼承。
支柱二:裝置安全
零信任 AI 情境中的裝置安全涵蓋使用者存取 AI 系統的端點和執行 AI 模型的基礎架構。對於使用者裝置,標準零信任控制適用,包括授予存取權限前的裝置健康驗證、端點偵測和回應涵蓋,以及根據裝置管理狀態變化的存取政策。
基礎架構層需要特別注意,因為 AI 推論硬體代表了傳統端點安全未設計應對的高價值目標。執行大型模型的 GPU 伺服器既包含模型權重(代表重要的智慧財產權),也包含透過推論處理的資料,這些資料可能包括敏感的組織資訊。AI 推論基礎架構的實體和邏輯安全應受到與其他高價值基礎架構資產相同的特權存取管理、完整性監控和存取記錄。
支柱三:網路分段
零信任網路架構用微分段區域取代了平坦的可信網路,在這些區域中,段之間的流量需要明確授權,而不是在邊界內自由流動。對於 AI 系統,網路分段決定了 AI 架構的哪些元件可以與哪些其他元件通訊,以及 AI 系統可以到達哪些外部資源。
AI 推論伺服器應與它們不需要存取的資源進行網路分段。服務於客戶服務查詢的模型不需要對財務系統的網路存取。研究 AI 工具不需要對人力資源資料庫的存取。網路架構應強制執行這些分離,而不是依賴 AI 系統行為自願尊重它們,因為提示注入和其他操縱技術可能會覆寫行為限制,而網路分段則實體性地強制執行。
AI 系統的外部網路存取,包括對網路搜尋、外部 API 和雲端服務的存取,應透過允許清單明確允許,而不是預設允許並阻止例外。零信任架構中 AI 系統外部連線的預設值是無存取,根據記錄的營運需求新增特定允許的目的地。
支柱四:應用程式安全
零信任 AI 情境中的應用程式安全涵蓋 AI 應用層本身的安全,包括提示基礎架構、檢索管道、工具整合,以及共同定義 AI 系統如何處理請求並產生回應的輸出處理邏輯。
應用層的輸入驗證和淨化代表了應用於 AI 系統的零信任原則——驗證內容,而不僅僅是身分。到達模型的每個輸入,無論是來自使用者、檢索的文件、工具輸出還是系統訊息,都應被視為可能具有對抗性,並透過適當的過濾進行處理,而不是隱含信任。
輸出驗證以相反的方式應用相同的原則。在到達使用者、連接的系統或下游程序之前,AI 系統產生的每個輸出都應根據定義的標準進行檢查,這些標準偵測有害內容、敏感資料洩漏和暗示模型已被操縱的行為異常。
了解應用層的 AI 架構決策如何影響零信任輸入和輸出控制的實際實施,有助於組織建構將安全嵌入處理管道而非附加在邊界上的 AI 系統。
支柱五:資料安全
零信任 AI 下的資料安全要求將 AI 系統的每次資料存取都視為需要明確授權,而不是繼承廣泛的權限。這是 AI 部署最直接需要專門設計的零信任控制的支柱,因為現有的資料安全架構不是為 AI 檢索系統建立的動態、查詢驅動的資料存取模式而設計的。
AI 系統在其檢索和處理行為中尊重的資料分類需要資料治理基礎架構與 AI 存取控制層之間的整合。當使用者的授權層級決定他們可以直接在文件管理系統中存取哪些文件時,代表該使用者檢索文件的 AI 系統應尊重相同的授權邊界,只返回使用者被授權檢視的文件,而不是知識庫中與其查詢相關的所有內容。
資料最小化是零信任資料的核心原則,要求 AI 系統僅存取和處理當前任務所需的特定資料。被要求草擬電子郵件回覆的 AI 助手不需要存取完整的客戶歷史記錄。摘要特定文件的 AI 工具不需要存取周圍的資料夾。在 AI 系統中實施資料最小化需要在細粒度資料層級而非系統或資料庫層級運作的存取控制。
回顧企業 AI 平台中的 AI 功能如何實現資料存取控制和檢索授權,有助於組織評估供應商的資料安全架構是否支援零信任原則,或是否需要補充控制來達到相同的效果。
支柱六:可見性和分析
零信任安全的前提是能夠偵測指示信任違規的異常,這需要對 AI 系統所做的一切進行全面可見性。如果沒有涵蓋每次 AI 系統互動的記錄和監控,零信任驗證在發生違規時不會產生訊號,因為偵測它們所需的證據不存在。
對於 AI 系統,可見性要求超出了傳統的應用程式記錄。提交給模型的每個查詢、透過 RAG 管道檢索的每個文件、代理執行的每個工具呼叫、系統產生的每個輸出,以及在每個驗證檢查點做出的每個存取控制決策,都需要被擷取到安全營運團隊可以監控和調查的記錄中。
應用於 AI 系統活動記錄的行為分析創造了使零信任可見性具有可操作性的異常偵測能力。正常 AI 系統行為的基準模型,包括典型查詢模式、通常的檢索量和標準工具使用頻率,可以偵測可能表明提示注入、資料外洩嘗試或未經授權的存取模式的偏差,這些偏差在沒有行為參考點的情況下將是不可見的。
支柱七:自動化和編排
企業規模的零信任無法手動操作。持續驗證所需的驗證決策、異常回應和存取政策更新發生的頻率和系統複雜性是人工操作無法匹配的。自動化和編排是零信任的最後一個支柱,涵蓋了使零信任在規模上具有可操作性而非僅在架構文件中具有理論性的系統。
特別是對於 AI 系統,對偵測到的異常的自動化回應,包括由異常查詢模式觸發的速率限制、由行為異常觸發的存取限制,以及由潛在提示注入特徵觸發的警報升級,提供了使零信任偵測有意義的回應速度。沒有自動化回應的偵測會產生一個識別威脅速度比人類行動速度更快的系統。
| 零信任支柱 | 傳統應用程式 | AI 系統特定擴展 |
|---|---|---|
| 身分 | 使用者和服務帳戶驗證 | 加上 AI 代理身分、範圍限定的任務憑證 |
| 裝置 | 端點健康和管理狀態 | 加上 AI 推論基礎架構完整性 |
| 網路 | 區域間的微分段 | 加上用於外部存取的 AI 特定允許清單 |
| 應用程式 | 輸入驗證和輸出監控 | 加上提示注入偵測、輸出過濾 |
| 資料 | 基於分類的存取控制 | 加上檢索授權、查詢中的資料最小化 |
| 可見性 | 應用程式和存取記錄 | 加上模型查詢、檢索、工具呼叫和輸出記錄 |
| 自動化 | 政策執行和異常回應 | 加上 AI 特定的行為分析和回應 |
在實務中建構零信任 AI 安全
從存取稽核開始
零信任 AI 安全的實際起點是對組織部署中每個 AI 系統當前可以存取的內容與其實際需要存取的內容進行誠實的稽核。這兩個清單之間的差距定義了使部署更接近零信任原則的最小特權修復工作。
大多數 AI 系統,特別是透過迭代整合工作演變的系統,已經累積了反映已連接內容歷史而非對必要內容的有意評估的存取權限。一個整合了電子郵件以檢索引用文件,然後連接到文件管理系統以獲取更廣泛情境,然後連結到 CRM 以獲取客戶參考的研究 AI 工具,現在可能具有跨三個系統的存取權限,每個系統都包含遠遠超出任何特定研究任務所需的敏感資料。
存取稽核產生一個能力圖——AI 工具可以存取的每個系統、可以執行的每個動作以及可以檢索的每個資料類別——以及一個營運需求圖——它實際需要的每個系統、該功能合法需要的每個動作,以及該功能真正需要的每個資料類別。修復就是透過存取範圍縮減、網路分段以及為系統偶爾而非持續需要的能力部署即時存取模式來彌合這兩者之間的差距。
在不降低效能的情況下實施持續驗證
關於將零信任原則應用於 AI 系統的一個常見擔憂是,持續驗證將引入延遲,降低需要快速回應的 AI 工具的使用者體驗。這種擔憂是真實的,但可以透過架構選擇來管理,這些選擇將驗證放在正確的位置,而不是統一地新增到每次互動中。
經過身分驗證的使用者存取的工作階段層級驗證透過單一身分驗證事件處理人類身分驗證額外負擔的大部分,而不是按查詢。頻繁重複的資料存取模式的快取授權決策減少了檢索操作的驗證額外負擔,而不放棄驗證要求。對於可以容忍稍微延遲授權解析的較低敏感度操作的非同步驗證保留了零信任稽核追蹤,而無需在每次互動上同步延遲。
真正需要在繼續之前同步阻塞行為的驗證點是那些治理高敏感資料存取、具有重大或不可逆後果的動作,以及觸發提高審查的行為異常的驗證點。對於已建立行為基準內的常規操作,可以透過精心設計的快取和非同步架構高效地處理驗證,而無需使用者可見的延遲。
關於實施零信任 AI 安全架構的全面 AI 指南,平衡驗證嚴格性與營運效能,有助於組織避免設計不良的實作所造成的安全性和可用性之間的虛假選擇。
圖片建議:開發人員或安全架構師在雙螢幕工作站上審查 AI 系統部署的存取控制設定組態,有組織的技術環境,程式碼或組態顯示在一個螢幕上,系統圖顯示在另一個螢幕上,任何螢幕上都沒有可讀的文字。
需要了解的事項
組織在從架構原則轉向營運實作時遇到的關於零信任 AI 安全的幾個重要現實:
零信任是一個持續的過程,而不是一種部署狀態。組織不會實現零信任並被動維護它。它們透過持續的存取範圍縮減、監控涵蓋擴展和驗證架構改善,不斷朝零信任邁進。目標是方向性和持續性的,而不是一個定義好的完成狀態。
舊有 AI 整合是最難的零信任修復目標。在將零信任原則應用於部署之前與現有基礎架構整合的 AI 系統,通常具有在不破壞功能的情況下技術上難以劃定範圍的存取模式。修復這些整合需要理解零信任要求和營運依賴性,這通常意味著逐個處理整合,而不是套用統一的政策變更。
30% 原則適用於零信任驗證自動化。自動化驗證控制應處理大約 30% 的安全營運,特別是自動化在規模上一致執行的高頻、基於政策的存取決策和行為監控。安全專業人員和治理擁有者處理剩餘的 70%,涉及風險評估、政策設計、異常調查,以及需要人類問責而非演算法執行的判斷密集型安全決策。
零信任並不能消除對邊界安全的需求。它與邊界控制分層,而不是取代它們。轉向零信任 AI 安全的組織在新增零信任提供的身分、資料和行為驗證層的同時,維護網路邊界控制。邊界成為眾多層之一,而不是主要的防禦。
零信任實施對使用者體驗的影響決定了採用的成功。使 AI 工具顯著更難使用的安全架構會推動員工轉向在任何零信任控制之外運作的影子 AI 替代品。設計對合法使用最小侵入,同時為異常或高風險操作維護嚴格控制的驗證流,是實施品質要求,而不是可選的增強。
供應商的零信任支援在企業 AI 平台之間差異很大。一些企業 AI 工具設計有零信任整合點,包括身分聯盟、細粒度存取控制、全面的記錄 API 和行為監控支援。其他工具需要大量補充基礎架構才能實現等效的零信任涵蓋。在 AI 工具選擇過程中評估供應商的零信任支援,可以減少相對於在未為此設計的工具上改造零信任控制的實施負擔。
安全團隊和 AI 營運團隊之間的共同問責制對於實務中有效的零信任 AI 安全計畫至關重要。安全團隊帶來零信任專業知識。AI 營運團隊帶來對 AI 系統行為、整合相依性和營運要求的理解,這決定了驗證控制在哪裡是實用的,在哪裡需要架構變通。由安全團隊設計而無 AI 營運投入的計畫往往會建立在部署中失敗的理論安全架構。
零信任作為自信 AI 部署的正確基礎
零信任 AI 安全不是 AI 系統最方便的安全架構。它需要比邊界安全或隱含信任模型更深思熟慮的存取設計、更多對驗證基礎架構的投資,以及更多的營運紀律。做出這種投資的組織一致地發現,它促進而非約束了它們的 AI 抱負,因為它建立了允許 AI 系統比在沒有同等驗證嚴格性的情況下運作的系統更廣泛連接、更深度信任,以及在更高風險情境中部署的安全基礎。
最終承載最大組織價值的 AI 系統是那些被信任處理最敏感資料、連接到最重要系統,並被授權採取最有影響力動作的系統。零信任 AI 安全是使這種信任可辯護而非僅是抱負的架構,提供了持續驗證、行為可見性和存取範圍劃定,允許組織對 AI 系統擴展有意義的信任,而不是接受暴露作為能力的成本。
常見問題
AI 中的零信任是什麼?
AI 中的零信任是將持續驗證和最小特權存取原則應用於人工智慧系統,要求對每個使用者、模型、代理、資料存取和工具互動進行針對當前授權的驗證,而不是依賴於在初始身分驗證時授予的或基於網路位置的隱含信任。 它將 AI 系統視為具有動態、互聯行為的高價值目標,需要專門為 AI 系統實際操作方式設計的驗證架構,而不是不考慮 AI 特定攻擊面的傳統應用程式安全模型。
什麼是零信任安全?
零信任安全是一種基於以下原則的安全模型:任何使用者、裝置或系統都不應基於其網路位置而被隱含信任,而是要求在授予存取權限之前對每個存取請求針對身分、裝置健康和情境授權政策進行持續驗證。 它用一種將每次互動視為可能不可信並需要在每個存取點進行驗證(無論請求源自何處)的模型,取代了信任網路邊界內一切的傳統邊界模型。
零信任安全模型的範例是什麼?
AI 部署中零信任安全模型的實際範例是企業 AI 助手,其中每個使用者在存取系統之前都透過多因素身分驗證進行身分驗證,AI 的檢索管道強制執行請求使用者的文件權限,因此它只能浮現他們被授權檢視的內容,AI 代理進行的所有工具呼叫都需要明確的每個動作授權,而不是繼承廣泛的服務帳戶權限,並且每個查詢、檢索和動作都記錄用於行為監控,以標記異常以供安全審查。 此範例說明了零信任跨 AI 系統的身分、資料和動作維度應用,而不僅僅是在網路邊界。
零信任如何提高安全性?
零信任透過最小特權存取範圍劃定來減少成功攻擊的影響半徑,以限制被入侵的身分或被操縱的 AI 系統可以存取的內容,透過對所有存取事件相對於行為基準的全面記錄實現更快的異常偵測,並消除攻擊者一旦進入網路邊界後透過橫向移動利用的隱含信任假設,從而提高了安全性。 特別是對於 AI 系統,零信任透過對 AI 代理的動態、互聯行為應用持續驗證來提高安全性,這種行為是邊界防禦無法治理的,因為它沒有定義的邊界可保護。
零信任的 7 個支柱是什麼?
零信任的七大支柱是:需要持續身分驗證使用者和系統的身分驗證,確保授予存取權限前端點健康的裝置安全,用要求它們之間明確授權的微分段區域取代平坦可信網路的網路分段,在應用層應用輸入驗證和輸出監控的應用程式安全,強制執行基於分類的存取控制和資料最小化的資料安全,提供全面記錄和行為異常偵測的可見性和分析,以及在持續驗證所需的規模和速度上啟用政策執行和異常回應的自動化和編排。 應用於 AI 系統時,每個支柱都呈現出特定的擴展,以解決 AI 行為、連通性和攻擊面的獨特特徵,而這些是傳統應用程式安全未設計為治理的。