AI 工具資料安全是指技術控制、合約保護和營運實務的組合,決定了組織的資料在流經人工智慧系統時被處理的安全程度。它涵蓋了從資料如何在傳輸過程中加密到供應商是否使用您的輸入來訓練未來模型的所有內容。
AI 工具帶來的生產力提升是真實的,並且在各行各業都有充分的記錄。同樣真實的還有那些在組織主要根據能力評估 AI 工具、將安全視為次要考量的部署之後發生的資料安全事件。員工將機密客戶資訊貼到公開的 AI 介面中。在沒有簽署資料處理協議的情況下,在供應商基礎設施上處理客戶資料。將專有業務邏輯提交給 AI 程式設計助理,而其服務條款允許保留該程式碼用於模型改進。這些情境都不需要複雜的攻擊。它們只需要一個組織在快速採用 AI 時沒有就其資料去向以及到達後會發生什麼的問題提出正確的問題。本指南解釋了 AI 工具資料安全實際上需要什麼、如何在您的組織正在考慮的工具中進行評估,以及最具影響力的安全決策在實務中是什麼樣子。
為什麼 AI 工具會帶來標準 IT 控制無法發現的資料安全挑戰
新的資料流問題
每個部署 AI 工具的組織都會建立一個新的資料流,而其現有的安全基礎設施並非設計用於監控或控制這種資料流。當員工將文件提交給 AI 工具進行摘要、將客戶記錄提交給 AI 助理進行分析,或將原始碼提交給 AI 程式設計工具進行審查時,這些資料會傳輸到組織不擁有的基礎設施,在組織無法檢查的伺服器上處理,並可能持久存儲在組織沒有可見性的日誌或訓練資料集中。
傳統的資料遺失防護工具旨在監控通過已知通道(電子郵件、檔案傳輸、USB 裝置、雲端儲存應用程式)移動的資料。AI 工具代表了一類資料流出,DLP 系統通常不能正確分類,因為流量看起來像合法的網路應用程式使用而不是資料外洩。技術路徑是對網路服務的標準 HTTPS 請求。安全後果是潛在敏感的組織資料離開網路邊界,而沒有任何管理其他形式資料共享的控制措施。
這不是假設的風險。金融服務、醫療保健、法律和科技行業的組織已記錄了員工使用 AI 工具處理本不應離開組織受控環境的資料的事件,後果範圍從合規違規到競爭情報暴露,再到當資料處理被披露時對客戶關係造成的損害。
標準安全假設失效的地方
AI 工具資料安全需要重新審視幾個對傳統軟體相當適用、但應用於 AI 系統時會失效的假設。
發送給供應商進行處理的資料主要受合約管轄的假設因 AI 系統而變得複雜,因為相同的資料可能用於即時服務之外的目的,特別是模型訓練和改進,以使用者在未閱讀的情況下接受的服務條款所允許的方式。合約管轄服務。服務條款可能允許合約沒有明確禁止的資料使用方式。
從系統中刪除資料可以刪除其中包含的資訊的假設,對於資料可能在訓練過程中影響模型權重的 AI 系統並不完全適用。透過訓練過程編碼到模型中的資料無法透過刪除原始記錄來直接刪除。對於在資料刪除和被遺忘權方面承擔監管義務的組織來說,這造成了傳統資料管理實務無法解決的合規複雜性。
供應商持有的安全認證統一適用於其所有產品的假設需要對 AI 供應商進行驗證而不是推斷,因為企業 AI 產品通常建立在與同一公司提供的消費產品分別認證的基礎設施上。供應商涵蓋其雲端基礎設施的 SOC 2 認證不會自動延伸到執行在該基礎設施上的 AI 助理產品,除非稽核範圍明確包括它。
審查 AI 安全 評估框架如何解決這些特定於 AI 的資料安全考量,可協助組織建立評估流程,以發現傳統 IT 安全審查所遺漏的漏洞。
AI 工具資料安全的核心面向
傳輸中和靜態資料
AI 工具資料安全的基礎層涵蓋了在資料在您的系統和 AI 工具基礎設施之間移動時如何保護資料,以及在儲存在該基礎設施上時如何保護資料。這些是大多數安全專業人員首先評估的控制措施,因為它們對應到熟悉的安全概念,並且相對容易評估。
傳輸中的資料應使用當前的 TLS 標準在您的系統和供應商基礎設施之間的每個連接上進行加密。這不僅包括主要的使用者介面連接,還包括任何 API 連接、Webhook 回呼以及與 AI 工具連接的其他系統的整合。無法確認應用於其資料流中每個連接的加密標準的供應商,在其安全文件中存在需要更深入調查的差距。
靜態資料加密涵蓋了在供應商基礎設施上儲存資料時如何保護資料,包括推論日誌、對話記錄、快取文件以及 AI 工具維護的任何其他持久儲存。使用 AES-256 或同等標準的靜態加密是任何企業 AI 工具的基線期望,圍繞該加密的金鑰管理實務(特別是誰控制金鑰以及在什麼條件下可以存取)與加密標準本身同樣重要。
對於具有最高資料安全要求的組織,客戶管理的加密金鑰(您的組織控制用於加密供應商基礎設施上的資料的金鑰)提供了標準供應商管理的加密無法提供的有意義的額外控制層。一些企業 AI 工具供應商在其最高服務級別提供此功能。
資料保留和訓練使用
除了加密之外,對於大多數 AI 工具部署而言,最具影響的兩個資料安全問題是供應商保留通過其系統處理的資料多久,以及這些資料是否用於訓練或改進其模型。
保留實務因供應商和層級而異。一些消費級 AI 工具預設無限期保留對話記錄。一些企業層級為偵錯和品質目的保留推論日誌一段時間。一些供應商提供零保留配置,即除了即時推論請求之外不儲存任何資料。正確的保留設定檔取決於您的資料敏感性和監管要求,但任何保留都會造成一個暴露窗口,在部署之前需要理解並在合約中加以定義。
訓練資料使用是最直接影響通過 AI 工具處理專有或敏感資訊的組織的問題。服務條款允許使用提交的內容來改進其模型的供應商,實際上是要求其客戶將專有資訊貢獻給一個共享資源,這最終可能使使用同一平台的競爭對手受益。與主要 AI 供應商的企業協議幾乎普遍禁止訓練資料使用作為標準條款,但組織需要明確確認這一點,而不是假設。
| 資料安全面向 | 需要確認的內容 | 為何重要 |
|---|---|---|
| 傳輸加密 | 所有連接的 TLS 版本和涵蓋範圍 | 防止傳輸過程中的攔截 |
| 靜態加密 | 加密標準和金鑰管理方法 | 保護儲存的資料免受基礎設施漏洞影響 |
| 保留期 | 按資料類別的具體保留時長 | 定義每次互動之外的暴露窗口 |
| 訓練資料使用 | 明確禁止,無選擇加入例外 | 防止專有資料訓練共享模型 |
| 日誌存取控制 | 供應商方面誰可以存取推論日誌以及在什麼條件下 | 限制內部人員對您組織資料的存取 |
| 資料刪除 | 根據請求或合約結束時的刪除流程和時間表 | 支援遵守刪除義務 |
| 子處理者揭露 | 有權存取您資料的第三方完整清單 | 揭示通過供應商的供應商造成的間接資料暴露 |
存取控制和身分驗證
您組織內 AI 工具部署的安全性既取決於內部如何管理存取,也取決於供應商的外部安全控制。一個具有強大供應商安全性但與您的身分管理基礎設施沒有整合的 AI 工具會造成存取治理缺口,通過繞過管理其他每個系統的控制的通道暴露相同的組織資料。
企業 AI 工具部署應與您組織的單一登入基礎設施整合,以便存取受與其他組織系統相同的佈建和取消佈建流程管轄。當員工離開組織或變更角色時,他們的 AI 工具存取應通過處理其他系統存取的相同工作流程移除或調整,而不是通過可能滯後的單獨手動流程。
AI 工具內基於角色的存取控制應限制不同使用者類別可以向系統提交什麼、工具可以從中擷取什麼資料來源,以及工具可以產生或匯出什麼輸出。最小權限原則與適用於任何其他組織系統一樣直接適用於 AI 工具存取,而為所有使用者配置統一廣泛存取的 AI 工具的組織正在接受範圍存取控制可以防止的資料暴露風險。
了解圍繞身分整合和存取控制的 AI 架構 決策如何影響 AI 工具部署的實際安全態勢,有助於組織根據其實際風險狀況配置其系統,而不是接受為通用用途設計的預設配置。
IMAGE SUGGESTION: A clean diagram showing an AI tool deployment within a corporate network boundary with visible access control layers including authentication, role permissions, and data classification filters between users and the AI system, professional security architecture diagram style, no text overlays.
AI 如何被用於改善資料安全
AI 和資料安全之間的關係是雙向的,值得討論 AI 如何積極加強安全計畫的方式,而不僅僅是為其創造新的挑戰。
由機器學習驅動的威脅偵測系統分析網路流量、使用者活動和系統日誌中的行為模式,以識別基於規則的偵測所遺漏的異常情況。AI 驅動的安全監控系統了解您特定環境中的正常情況,並發現需要調查的偏差,既減少了浪費分析師時間的誤報率,又減少了允許真正威脅未被察覺的漏報率。
使用自然語言處理的資料分類工具自動識別文件、電子郵件和通訊中的敏感內容,其規模和一致性是手動分類無法匹敵的。當 AI 可以在文件進入系統時自動將其分類為包含個人健康資訊、財務資料或法律特權內容時,該分類可以觸發適當的處理控制,而無需手動審查每份文件。
使用 AI 的安全營運平台協助分析師進行調查工作流程,跨多個資料來源關聯事件,呈現相關的歷史背景,並根據評估的嚴重性對警報佇列進行優先順序排序。以前將大部分時間花在警報分類上的分析師,現在花更多時間在真正需要人類判斷的複雜調查上,而 AI 處理支援該分類的模式辨識工作。
AI 應用於安全的這些應用表明,兩者之間的關係並非對立。AI 工具創造了需要仔細管理的資料安全挑戰。AI 能力也提供了如果沒有它就不切實際的安全改進。最有效地駕馭這一點的組織將兩個面向都視為真實的,並同時解決它們,而不是只關注風險而忽略防禦性應用。
審查企業安全平台中的 AI 功能 如何實施 AI 驅動的偵測和回應能力,有助於組織評估 AI 安全投資是否以補充其 AI 工具治理計畫的方式增強其防禦態勢。
建構 AI 工具資料安全計畫
您必須首先解決的清單問題
組織無法保護他們尚未繪製的 AI 工具資料流。任何 AI 工具資料安全計畫的起點都是當前在整個組織中使用的 AI 工具的完整清單,包括那些由個別團隊或員工在沒有中央 IT 參與的情況下採用的工具。
這個清單一直發現比中央 IT 團隊預期的更多的工具,因為 AI 能力已經以使用者可能無法識別為獨立 AI 工具使用的方式嵌入到廣泛使用的生產力應用程式、通訊平台和業務軟體中。文書處理器中內建的 AI 寫作助理、電子郵件用戶端中的智慧回覆功能、文件管理系統中的自動摘要和 CRM 中的預測分析都代表了對組織資料的 AI 處理,即使它們看起來都不像獨立的 AI 工具採用,也屬於安全評估範圍。
一旦清單存在,每個工具都需要根據上述討論的資料安全面向進行評估,並被批准用於特定資料類別、有限制地批准,或在安全審查待定期間禁止。目標不是消除 AI 工具的使用,而是確保您組織使用的每個 AI 工具都根據您的資料安全要求進行了評估,而不是僅根據能力採用。
需要落實的合約保護
技術安全控制保護供應商基礎設施上的資料。合約保護定義了管理這些資料處理方式的法律義務,以及當這些義務未能履行時您的組織有哪些追索權。兩者都是必要的,任何一個都不能替代另一個。
在任何組織資料流經特定 AI 工具之前,需要落實涵蓋正在部署的 AI 工具的資料處理協議。對於處理歐盟個人資料的組織,這是 GDPR 下的法律要求。對於處理受保護健康資訊的醫療保健組織,HIPAA 要求商業夥伴協議。對於金融服務組織,可能適用行業特定的資料處理協議。除監管要求外,與 AI 供應商的資料處理協議還定義了資料保留限制、訓練資料禁令、違規通知義務和資料刪除程序,這些都保護組織利益,無論監管授權如何。
| 合約保護 | 涵蓋內容 | 需要它的組織 |
|---|---|---|
| 資料處理協議 | 處理歐盟個人資料的 GDPR 合規性 | 任何處理歐盟個人資料的組織 |
| 商業夥伴協議 | 受保護健康資訊的 HIPAA 合規性 | 醫療保健組織及其供應商 |
| 訓練資料禁令 | 明確禁止使用資料訓練模型的合約條款 | 所有處理專有或敏感資料的組織 |
| 違規通知承諾 | 供應商在規定時間內通知的義務 | 所有組織,GDPR 下通常為 72 小時 |
| 資料刪除協議 | 供應商根據請求或合約結束時刪除資料的承諾 | 承擔資料刪除義務的組織 |
| 子處理者管理 | 供應商承諾與其供應商保持安全 | 具有監管鏈要求的組織 |
一份關於為資料安全建構 AI 供應商協議的全面 AI 指南,協助組織建立合約框架,在 AI 工具關係的整個生命週期內保護其利益,而不僅僅是在初始部署時。
影子 AI 問題及如何解決
影子 AI,即員工在中央批准和管理的部署之外使用 AI 工具,是大多數廣泛採用 AI 的組織中未管理資料安全風險的最重要來源。在雲端採用時代造成影子 IT 風險的相同動態正在 AI 工具中上演,通常更快,資料安全影響更為重大,因為提交給 AI 工具的資料經常包含安全計畫旨在保護的確切組織資訊。
對影子 AI 最有效的應對結合了三個要素。通過監控 AI 相關網路流量和應用程式使用的可見性,使安全團隊具備識別未經授權工具使用所需的意識,以防其造成重大暴露。一個清晰且可存取的批准工具計畫通過確保需要 AI 能力的員工擁有滿足其實際需求的批准選項,減少影子採用的動機。以及一個對已使用未經批准工具的員工的非懲罰性報告機制,鼓勵自我披露,協助組織識別和遏制現有的暴露,而不是通過事件發現。
主要通過禁止而不是提供來應對影子 AI 的組織發現,對 AI 能力的潛在需求不會消失,它會轉移到個人裝置和個人帳戶,在那裡組織的可見性和控制更加有限。
需要了解的事項
關於 AI 工具資料安全的幾個重要現實,組織通常會比他們希望的更晚發現:
同一 AI 工具的消費版和企業版具有根本不同的安全屬性。同一供應商的 AI 工具的免費或個人版本及其企業等效版本在資料保留實務、訓練資料使用、加密標準和可用合約保護方面通常存在顯著差異。即使消費版本可用且功能正常,對企業版本的評估對於業務資料來說也不是可選的。
需要驗證安全認證的時效性和範圍。一份十八個月前的 SOC 2 報告,或者一份涵蓋基礎設施但不涵蓋 AI 產品層的報告,告訴您的資訊比看起來要少。在依賴認證作為當前安全態勢的證據之前,始終確認報告期、稽核範圍邊界和涵蓋的特定產品。
30% 規則有用地適用於資料安全治理。AI 工具應被信任以自主處理大約 30% 的資料處理工作流程,特別是涉及較低敏感性資料類別且具有完善安全控制的工作流程,而涉及更敏感或受監管資料類別的 70% 則需要額外的人工監督、更嚴格的工具選擇標準或提供更強大安全保證的替代處理方法。
API 和整合連接會成倍增加您的資料暴露面。當 AI 工具與您的電子郵件、行事曆、文件儲存或 CRM 系統整合時,它會獲得對這些系統完整資料環境的存取權,而不僅僅是您主動提交給它的特定資料。對將深度整合的 AI 工具的安全評估需要全面涵蓋整合的資料存取。
針對 AI 資料安全事件的事件回應計畫需要特定準備。與 AI 資料安全事件相關的證據類型,包括推論日誌、API 存取記錄和供應商基礎設施事件日誌,與傳統事件回應劇本所圍繞建構的網路和系統日誌不同。在事件發生之前,將 AI 特定的證據收集和供應商協調程序建構到您的事件回應計畫中,可大大提高您在需要時的回應能力。
由 AI 基礎設施觸發的國際資料傳輸在許多司法管轄區需要特定的法律機制。其推論基礎設施在您的監管管轄範圍之外運作的 AI 工具,可能會觸發跨境資料傳輸要求,需要透過標準合約條款、適足性決定或同等機制來滿足,然後受監管的資料才能合法地透過它處理。
將 AI 工具資料安全視為競爭基礎
建構強大 AI 工具資料安全計畫的組織發現,這項投資帶來的回報超出了風險降低。企業客戶越來越要求負責任的 AI 資料處理證據作為開展業務的條件。審查 AI 治理計畫的監管機構將資料安全評估為核心組成部分。產生嚴格 AI 工具安全評估的組織紀律也傾向於產生更好的 AI 工具選擇決策,因為以安全為重點的評估揭示了供應商關係品質、合約保護可用性和營運成熟度,這些因素超越了安全面向,預示著良好的供應商合作夥伴關係。
AI 工具資料安全不是組織有時將其視為的、阻礙 AI 富有成效採用的障礙。它是使有信心、可擴展的 AI 採用成為可能的基礎。從一開始就認識到這一區別並將安全評估建構到其 AI 工具採用流程中的企業,可以避免事件、合規暴露和補救成本,這些成本使延遲的安全關注比主動治理要昂貴得多。
常見問題
哪種 AI 最適合資料安全?
對於業務用途資料安全態勢最強的 AI 工具是來自具有當前 SOC 2 Type 2 認證、可用資料處理協議、明確訓練資料禁令和明確資料保留限制的供應商的企業級部署,Microsoft Azure AI、AWS Bedrock 和 Google Cloud AI 始終滿足對於有重大合規要求的組織的這些標準。 對於需要最強資料安全保證的組織,在私有基礎設施上自我託管的開源模型透過確保資料從不離開組織自己的基礎設施,完全消除了供應商方面的資料處理風險。
AI 如何用於資料安全?
AI 用於資料安全,以為威脅偵測系統提供動力,這些系統識別網路和使用者活動中的異常行為模式,自動化資料分類以在內容建立點觸發適當的處理控制,協助安全分析師進行警報分類和調查工作流程,監視通訊和交易中的策略違規行為,以及偵測基於規則的系統遺漏的潛在資料外洩嘗試。 當與管理 AI 工具本身引入的資料安全風險的治理控制一起部署時,AI 在安全方面的這些防禦性應用代表了組織安全態勢的有意義的改進。
什麼是 AI 的 30% 規則?
AI 的 30% 規則是這樣一個原則:AI 系統應自主處理大約 30% 的工作流程,特別是自動化提供明確效率益處的高頻率、定義明確的部分,而人工判斷和問責制涵蓋其餘 70%,涉及重大決策、敏感資料處理和承擔組織責任的輸出。 具體應用於 AI 工具資料安全,此原則有助於組織確定哪些資料處理工作流程適合 AI 工具自動化,哪些需要更高敏感性資料所需的額外監督、更嚴格的工具選擇或替代處理方法。
什麼是 AI 安全工具?
AI 安全工具是使用人工智慧和機器學習技術來提高組織安全計畫的偵測、預防和回應能力的軟體產品,包括 AI 驅動的威脅偵測平台、行為分析系統、自動化漏洞掃描器、智慧型安全資訊和事件管理系統以及 AI 輔助的事件回應平台。 它們不同於保護 AI 工具的問題,後者解決了在業務工作流程中部署的 AI 系統的資料安全實務,儘管這兩個面向都與具有成熟 AI 採用的組織相關。
AI 工具的 5 種類型是什麼?
業務環境中 AI 工具的五個主要類別是:產生文字、程式碼、圖像和其他內容的生成式 AI 工具;識別資料中模式和洞察的分析式 AI 工具;在沒有持續人工指導的情況下執行定義工作流程的自動化 AI 工具;透過自然語言介面與使用者互動的對話式 AI 工具;以及基於歷史模式預測結果的預測式 AI 工具。 每個類別都根據其處理的資料性質、執行所在的基礎設施以及它產生的輸出,創造了獨特的資料安全考量因素,這就是為什麼 AI 工具資料安全評估需要解決每個類別的特定風險概況,而不是將所有 AI 工具視為呈現等效的安全考量因素。