AI 供應商安全評估是一個結構化的評估流程,用於確定人工智慧工具或平台在被授予存取組織資料的權限或被整合到業務工作流程之前,是否符合組織的安全、合規和資料保護要求。它在採購流程中那個出錯後果仍可控的時間點上,以證據取代假設。

大多數組織都有針對傳統軟體運作良好的供應商安全評估流程。供應商填寫問卷。法務審查合約。IT 檢查認證。工具被部署。但對於 AI 供應商,這一流程遺漏的內容足以造成重大影響。揭示 AI 供應商關係中最重大風險的問題,並不出現在標準的 IT 供應商問卷中。這些問題涉及模型訓練資料的使用、推理基礎設施所在的司法管轄區、對話結束後資料將如何處理,以及供應商所出示的安全認證是否涵蓋正在部署的特定產品,或僅涵蓋其基礎設施的完全不同的部分。那些在簽訂合約之後、敏感資料已流經未經其妥善評估的系統之後才發現這些差距的組織,會在第二次評估時格外仔細。本指南闡述了如何開展一項能夠發現關鍵問題的 AI 供應商安全評估,應當要求哪些證據而不是僅憑主張就予以接受,以及如何將評估流程建構為可重複的組織能力。

為何標準供應商評估對 AI 來說不夠充分

通用問卷遺漏的差距

標準的 IT 供應商安全問卷是為這樣一種軟體環境而開發的:主要的安全關注點是資料儲存安全、存取控制和網路保護。這些關注點同樣適用於 AI 供應商。但 AI 系統引入了一系列額外的關注點,而通用問卷在設計時並未旨在揭示這些問題,且如果不被明確詢問,供應商也不會主動提供這些資訊。

模型訓練資料的使用是第一個差距。供應商是否使用透過其產品提交的資料來訓練或改進其 AI 模型,對於透過 AI 工具處理專有或敏感資訊的組織而言,是最具影響的資料處理問題之一。這也是標準供應商問卷未包含的問題,因為它在傳統軟體採購中沒有對應項。資料庫供應商不會使用您的資料來訓練其產品。AI 供應商可能會,而他們是否如此做,通常隱藏在服務條款語言中,而非顯著揭露。

推理基礎設施的位置是第二個差距。AI 模型在何處實體處理您的資料,決定了哪些法律框架適用於該處理過程、是否需要跨境資料傳輸機制,以及哪個司法管轄區的法律程序可以強制揭露這些資料。標準供應商評估詢問資料儲存在何處。AI 評估需要單獨詢問資料在推理期間在何處處理,這可能是位於不同地點的不同基礎設施。

安全認證的範圍邊界是第三個差距。供應商可能出示涵蓋其雲端基礎設施的 SOC 2 Type 2 報告,而正在評估的特定 AI 產品卻運行在審計範圍之外的不同基礎設施上。如果不核實所出示的認證是否涵蓋與您的部署相關的特定產品和基礎設施,認證審查可能會對一個從未被審查過的部署提供虛假的信心。

理解 AI security 評估要求與傳統供應商安全評估的差異,可協助組織建構針對實際 AI 風險格局的評估流程,而非針對這些流程最初所設計應對的傳統軟體風險格局。

建構 AI 供應商安全評估框架

每項評估必須涵蓋的五大領域

有效的 AI 供應商安全評估將其評估組織為五個領域,這五個領域共同構成了供應商在所考慮的具體部署中的安全態勢的完整圖景。每個領域都涉及其他領域未涵蓋的風險維度,這就是為什麼僅關注一兩個領域而跳過其餘領域的評估始終會遺漏實質性風險。

技術安全涵蓋保護由供應商 AI 系統處理的資料的基礎設施控制措施。這是與傳統供應商安全評估重疊最多的領域,涵蓋加密標準、網路安全架構、漏洞管理實踐、事件偵測和回應能力,以及運行 AI 工作負載的基礎設施的實體安全。

資料治理涵蓋供應商在其系統中對組織資料整個生命週期所做的處理。該領域包括訓練資料使用政策、推理日誌保留實踐、資料刪除能力和時限、次級處理方關係及其資料存取權限、跨境資料傳輸機制,以及管轄所有上述事項的合約保護。

合規與認證涵蓋對供應商安全主張的獨立驗證以及其產品可支援的監管框架。該領域包括審查具體的認證文件而非接受供應商陳述、驗證認證範圍和時效性、評估所需資料協議的可用性,以及確認對您的組織適用的行業特定合規要求的支援。

AI 特有的安全涵蓋 AI 系統所獨有的、在傳統軟體供應商評估中沒有對應項的風險。該領域包括提示注入的易感性和緩解控制、對抗性穩健性測試、模型擷取保護、針對所部署特定使用案例的幻覺率和緩解方法,以及供應商對模型更新和行為變更管理的處理方式。

營運安全涵蓋供應商作為一個組織的安全實踐,而非其特定產品的技術控制措施。該領域包括安全團隊的結構和專業知識、安全揭露和漏洞管理實踐、違規通知流程和歷史事件記錄,以及供應商對其 AI 產品所依賴的元件和服務的自身供應鏈安全。

評估領域	主要問題	所需證據
技術安全	加密標準、網路架構、漏洞管理	SOC 2 Type 2 報告、滲透測試摘要
資料治理	訓練資料使用、保留期限、刪除能力、次級處理方	合約條款、資料處理協議、次級處理方清單
合規與認證	認證範圍和時效性、資料協議可用性、監管支援	目前認證文件、已簽署的 DPA 或 BAA
AI 特有的安全	提示注入控制、對抗性穩健性、模型更新實踐	技術文件、安全測試結果
營運安全	安全團隊、揭露實踐、事件歷史、供應鏈	安全揭露、事件通知歷史

區分評估與接受的證據標準

AI 供應商安全評估中最重要的紀律是要求證據,而非接受主張。供應商在銷售對話、行銷材料,甚至供應商填寫的問卷中所做的安全主張,並不是經過獨立核實的事實陳述。它們是其準確性取決於供應商自身對其安全態勢的評估,以及他們以有利方式呈現的商業動機的陳述。

基於證據的評估要求每項重大安全主張都必須由獨立方已核實的文件支援,或者由組織可以直接核實的文件支援。聲稱符合 SOC 2 的供應商應出具實際的 SOC 2 報告,而非摘要或徽章。報告應被閱讀,而不僅是接收,需關注其範圍邊界、審計期間、所測試的具體控制措施,以及所註明的任何例外或偏差。聲稱其產品不使用客戶資料進行模型訓練的供應商,應在管轄該關係的合約條款中記錄這一禁止條款,而不僅僅在銷售對話中陳述。

核實紀律同樣延伸至認證本身。SOC 2 審計師在品質和嚴格性方面各有不同。來自具有經驗證的技術行業專業知識的知名公司的審計報告,所提供的證據比來自不知名公司、技術審計歷史有限的審計報告更為有力。報告期間也很重要,因為涵蓋非常短審計期間的報告可能反映的是一次旨在快速獲得認證的首次審計,而非一個成熟、持續的安全計劃。

審查供應商 AI architecture 文件如何描述其安全控制措施,可協助評估人員評判所呈現的技術架構是否連貫且可辯護,或者是否在某種抽象層面上描述安全性,從而掩蓋了實質性差距。

最重要的 AI 特有問題

關於訓練資料使用應當問什麼

訓練資料使用問題需要比是或否的回答更精確,因為產生重大風險的實踐比一般性問題所能捕捉到的更為具體。回答其不使用客戶資料進行訓練的供應商,所表達的含義可能比該問題所暗示的更為狹窄。

詢問對話內容(包括提示詞和回應)是否在任何情況下用於模型訓練或微調,包括透過服務條款獲得的客戶同意。詢問聚合或匿名化的客戶資料是否會為模型改進做出貢獻。詢問該禁止條款是否適用於所有產品層級,還是僅適用於正在評估的企業層級。詢問該禁止條款是絕對的,還是可以透過客戶協議加以放棄。詢問該禁止條款是如何在技術上而非僅僅在合約上實施的,因為一項未在技術上實施的合約禁止條款,完全依賴於供應商的營運合規性,而非架構保證。

對這些具體後續問題的回答,往往會揭示訓練資料使用實踐比供應商最初陳述所暗示的更為微妙,以及組織所評估的企業層級所提供的保護可能與標準產品條款不同,而這些差異對於所評估的特定使用案例具有重要意義。

關於推理基礎設施和資料駐留應當問什麼

對於 AI 系統的基礎設施問題,需要分別詢問模型權重儲存在何處、推理在計算上發生在何處、輸入資料在何處處理、輸出資料和日誌儲存在何處,以及這些情況在所部署的特定產品層級而非供應商總體基礎設施的背景下分別發生在何處。

對於具有資料駐留義務的組織,推理位置問題往往比儲存位置問題在直接影響上更為重要,因為在大多數司法管轄區中,驅動駐留要求的監管框架將處理司法管轄區視為等同於儲存司法管轄區。儲存基礎設施位於所要求的司法管轄區,但推理處理發生在其他地方的供應商,即使儲存控制措施完全合規,也未滿足駐留要求。

要求供應商提供一份資料流圖,從提交開始,經過推理、輸出、日誌記錄,直到刪除,追蹤組織資料,並清楚標明每個階段的實體位置。如果供應商無法提供這份文件,他們對自身資料流理解上的這一差距本身就是一項重大的安全發現。

關於模型更新和行為變化應當問什麼

AI 供應商按照並不總是提前與客戶溝通的時間表更新其底層模型。模型更新可能以影響其安全態勢、其與客戶可接受使用要求的合規性,或其在客戶所部署特定使用案例下輸出品質的方式,改變 AI 系統的行為。

詢問供應商如何通知客戶與安全或合規性相關的行為變化的模型更新。詢問企業客戶是否可以選擇保留在特定模型版本上,而非接收自動更新。詢問供應商如何在將模型更新部署到客戶環境之前對其進行安全回歸測試。並詢問如果模型更新以影響客戶部署中的合規性或安全性的方式改變行為,客戶的救濟措施是什麼。

這些回答揭示了組織對其所部署 AI 系統核心元件將擁有的控制程度,以及供應商關於客戶參與模型生命週期的理念。其所部署 AI 系統用於受監管環境或高風險決策支援的組織,在模型穩定性和更新通知方面比那些將 AI 用於低風險生產力應用的組織有更強的利益訴求。

評估必須建立的合約保護

資料流動之前必須就位的協議

AI 供應商安全評估的合約階段,將技術和治理的發現轉化為具有法律可執行性的保護。技術控制措施保護供應商基礎設施上的資料。合約保護則定義了管轄該基礎設施如何運作以及在未履行義務時組織擁有何種救濟的法律義務。

涵蓋正在部署的特定 AI 產品的資料處理協議,是任何處理受 GDPR、CCPA 或同等框架約束的個人資料的供應商的基本合約要求。DPA 需要明確處理訓練資料禁止條款、按類別的資料保留限制、次級處理方管理義務、資料刪除時限,以及違規通知要求。為通用雲端服務起草的供應商 DPA 範本,可能無法充分處理評估所確定為相關的 AI 特有考量因素。

對於醫療保健組織而言,業務夥伴協議是任何可能構成受保護健康資訊的資料流經供應商 AI 系統之前的法律前提。BAA 需要涵蓋正在部署的特定產品,而非僅僅涵蓋供應商的總體基礎設施,並需要確認該 AI 產品的資料處理實踐與 HIPAA 的技術保障要求一致。

理解企業 AI 平台中的 AI features 相對於正在協商的合約保護的結構,可協助組織識別產品行為和合約條款一致的地方,以及產品技術現實需要額外合約明確性才能實現組織所需保護的地方。

所需協議	適用情形	AI 關鍵條款
資料處理協議	GDPR 或同等框架下的任何個人資料處理	訓練資料禁止條款、保留限制、次級處理方清單
業務夥伴協議	HIPAA 下的任何 PHI 處理	產品特定涵蓋範圍、技術保障確認
主服務協議	所有商業供應商關係	責任分配、違規救濟、終止時資料返還
安全附錄	高敏感性資料處理場景	超出標準條款的特定安全義務
模型風險文件	受監管金融活動中的 AI	模型文件、驗證權、更新通知
保密協議	評估流程本身及敏感發現	涵蓋評估方法和組織要求的範圍

超越標準條款的談判

大多數企業 AI 供應商協議起始於有利於供應商起草的標準條款。評估流程應根據組織的安全發現和合規要求,確定需要修改的具體條款,而非未經優先順序排序地針對整個標準條款進行談判。

談判優先順序最高的條款是那些最直接影響評估所識別的安全和合規風險的條款。允許組織需要禁止的使用方式的訓練資料使用條款。對所處理資料類別而言不足的責任限制。不滿足監管要求的違規通知時限。賦予供應商更多變更其基礎設施的靈活性,超出了組織合規要求所能容納範圍的次級處理方批准權。

具有顯著採購影響力的組織——無論是透過交易規模、品牌價值還是市場地位——往往能夠恰恰在這些點上對標準 AI 供應商條款獲得有意義的改進,因為供應商對這種關係的重視程度足以滿足超出其標準範本的要求。影響力有限的組織有時可以透過將要求建構為監管必要性而非偏好來達到同樣的結果,因為供應商在支援合規部署方面具有商業利益,這種利益延伸超越任何單一客戶關係。

關於如何為安全和合規建構 AI 供應商協議的全面 AI guide,可協助組織建構優先考慮那些最影響其實際風險暴露的條款的談判框架,而非試圖以同等強度談判每一條款。

將評估建構為可重複的流程

可擴展的評估工作流程

將 AI 供應商安全評估作為每次重大 AI 採購的一次性專案進行的組織,所累積的機構知識無法有效地轉移到後續評估中。將評估建構為可重複流程的組織,具有有據可查的方法論、標準證據範本和明確的決策標準,從而發展出一種能力,使每次評估都比上一次更快、更一致。

可重複的 AI 供應商安全評估流程包括:專門為 AI 供應商開發的、涵蓋五個評估領域的標準化問卷;明確每項主要安全主張所需具體證據的文件請求清單;將評估發現轉化為部署建議的評分或決策框架;讓安全、法務、合規和業務職能中合適的利害關係人參與的審查流程;以及產生對內部治理和外部監管審查都有用的記錄的文件標準。

問卷和文件請求清單應至少每年審查和更新一次,以納入從供應商格局、監管環境以及組織自身部署經驗中浮現的新 AI 特有安全考量因素。十二個月前還很全面的評估工具,在 AI 安全威脅格局和圍繞它的監管預期持續發展的今天,可能存在實質性差距。

超越初次採購的持續評估

在採購時進行的 AI 供應商安全評估提供了供應商安全態勢的某一時間點評估。它無法持續保證,在供應商產品演進、其基礎設施變化、其所有權或財務狀況變化,或其技術堆疊中出現新的安全漏洞時,該態勢仍然充分。

針對重要 AI 供應商的持續評估應包括:每年審查更新的認證和安全文件;審查來自供應商的任何安全事件揭露或違規通知;評估對供應商服務條款或隱私政策的實質性變更,這些變更影響初次評估所審視的資料處理實踐;以及審查對供應商 AI 產品、基礎設施或所有權的任何重大變更,這些變更可能影響初次評估所基於的安全假設。

將 AI 供應商安全評估視為採購檢查點而非持續關係管理實踐的組織,會累積起其文件化的安全假設與供應商實際安全態勢之間的漸進偏差,這使得事件發現相對於主動監控而言代價高昂。

需要了解的事項

隨著組織計劃的成熟,幾個關於 AI 供應商安全評估的重要現實是它們持續遇到的:

評估範圍需要與部署範圍完全匹配。涵蓋供應商企業 API 的安全評估,並不能為供應商的消費者產品提供保證。涵蓋供應商文字生成產品的評估,並不涵蓋其影像生成產品,即使兩者都以同一品牌名稱推出。明確定義所評估的特定產品、層級和部署設定,並確認所審查的每項認證和合約保護都涵蓋該特定範圍。

參考客戶對話以文件審查無法複製的方式補充了文件審查。與已部署同一供應商 AI 產品的、規模、行業和監管概況相似的組織交談,可提供有關供應商回應能力、實際資料處理實踐與已記錄實踐對比,以及操作供應商關係的實際經驗的定性洞察,這些都是文件審查無法捕捉的。

供應商財務穩定性是合法的安全評估維度。停止營運的 AI 供應商會造成資料可移植性、刪除和審計軌跡挑戰,這些挑戰可能成為合規問題。評估供應商的財務健康狀況、資金跑道和市場地位,對於正在考慮進行重大生產部署的 AI 供應商而言是恰當的,尤其是那些擷取或訓練的資料會建立持續依賴關係的供應商。

30% 原則適用於評估工作量分配。大約 30% 的評估工作量應用於技術安全領域,評估流程相對於其實際風險貢獻而言最常對該領域過度投入。其餘 70% 應涵蓋資料治理、合約保護、AI 特有風險,以及揭示表面上認證看似相似的供應商之間最具意義的差異點的營運安全維度。

評估發現需要以風險術語而非技術語言傳達給業務利害關係人。一項發現表明供應商的 SOC 2 審計範圍不包括 AI 推理基礎設施,在技術上是準確的,但若不轉化為業務風險術語,對業務決策者而言並不可操作。供應商未獨立核實將處理您最敏感資料的系統安全性這一發現,是以能夠產生決策的語言表達的同一發現。

重新評估的觸發條件需要事先定義。應在評估流程中定義、而非在事件發生時臨時確定的、應觸發新的或部分 AI 供應商安全評估的具體事件,包括重大供應商事件、服務條款的實質性變更、供應商收購或所有權變更,以及產品架構的重大變更。

AI 供應商安全評估作為競爭性選擇工具

進行徹底 AI 供應商安全評估的組織持續發現,該流程不僅僅識別不可接受的供應商。它揭示了在認證和行銷表面相似但在證據而非主張層面審視時實際安全實踐存在顯著差異的供應商之間的實質性差異化。

這種差異化在風險管理價值之外具有商業用途。投資於真正安全基礎設施、維持目前且全面認證、營運透明資料處理實踐,並支援受監管組織所需合約保護的供應商,已將安全打造為競爭性資產而非合規成本。透過嚴格評估識別這些供應商並與他們建立持久關係,所產生的採購成果在 AI 工具格局持續演進且安全要求持續收緊時,價值會複利增長。

AI 供應商安全評估是負責任的 AI 採用承諾與選擇信任誰來處理最重要資料的營運現實相遇之處。徹底地、一致地、以其應有的證據標準開展這項工作的組織,所建立的供應商關係支援其 AI 抱負,而非建立不充分評估不可避免地遺留的未被發現的責任。

常見問題

如何評估 AI 供應商?

評估 AI 供應商需要在五個領域開展結構化評估:透過目前認證文件核實的技術安全控制措施;透過合約條款核實的、涵蓋訓練資料使用和保留的資料治理實踐;透過實際報告而非供應商陳述核實的合規認證範圍和時效性;包括提示注入控制和模型更新實踐在內的 AI 特有安全考量因素;以及涵蓋供應商組織安全實踐和事件歷史的營運安全。 評估基於證據而非供應商主張產生部署決策,合約保護在任何組織資料流經供應商系統之前建立。

使用 AI 的安全評估是什麼?

使用 AI 的安全評估是指應用人工智慧工具來提高安全評估流程的效率和覆蓋範圍,包括使用 AI 分析供應商文件以查找與安全相關的條款,在多個供應商提交的文件中自動化問卷回應分析,持續監控供應商的安全揭露和事件通知,以及識別人工審查流程會遺漏的供應商安全態勢資料中的模式。 它與評估 AI 工具本身安全性的 AI 供應商安全評估有所不同,儘管具有成熟安全計劃的組織越來越多地使用 AI 來增強其 AI 供應商評估流程和更廣泛的安全評估能力。

什麼是供應商安全評估?

供應商安全評估是在第三方技術提供商被授予存取組織資料的權限或被整合到業務系統之前,對其安全控制措施、資料處理實踐、合規認證和合約保護進行的結構化評估。 具體到 AI 供應商,評估超越了傳統供應商安全評估,以處理訓練資料使用、推理基礎設施司法管轄區、模型更新實踐,以及標準 IT 供應商問卷在設計上未旨在揭示的 AI 特有攻擊面等 AI 特有的風險。

可以採取哪些措施確保 AI 供應商是安全的?

確保 AI 供應商安全的五項最重要措施是:要求目前的 SOC 2 Type 2 或同等認證文件,涵蓋正在部署的特定產品和基礎設施;在任何組織資料被處理之前,獲取已簽署的、具有明確訓練資料禁止條款和明確保留限制的資料處理協議;核實推理基礎設施位於滿足適用資料駐留要求的司法管轄區;透過合約條款和技術文件確認供應商的安全控制措施處理 AI 特有風險,包括提示注入和模型擷取;以及建立持續的供應商監控流程,按已定義的年度週期審查認證續期、事件揭露和服務條款的實質性變更。 這些措施共同建立了一種與 AI 供應商的安全關係,該關係建立在經核實的證據和可執行的義務基礎上,而非未核實的主張和假定的善意基礎上。

5 項安全措施有哪些?

適用於 AI 供應商關係的五項基礎安全措施是:使用目前標準、具有有據可查的金鑰管理實踐,對傳輸中和靜止狀態的資料進行加密;限制供應商組織中誰可以在何種條件下存取組織資料的存取控制;對所有資料存取和處理事件的全面日誌記錄,保留期限支援事件調查;漏洞管理實踐,包括定期安全測試和針對已識別漏洞的定義化的修復時限;以及違規通知流程,使供應商承諾及時揭露,具有滿足組織監管通知義務的具體時限。 這五項措施代表了技術安全基準,應透過證據為每個被評估承擔重大資料處理責任的 AI 供應商進行核實,AI 特有的評估維度則疊加在此傳統安全基礎之上。