什麼是 AI 治理?它是一個組織為確保其 AI 系統安全、合法、合乎道德且與業務目標保持一致地運行而建立的政策、問責結構、技術控制和監督機制的結構化組合。沒有它,AI 的採用會比創造價值更快地創造風險。

什麼是 AI 治理這個問題對不同組織在不同時刻出現。一些組織是在合規稽核揭示了 AI 工具在業務中使用方式的差距後才面對這個問題。其他組織是在 AI 生成的錯誤到達客戶或監管機構,而沒有人能清楚解釋誰對產生該錯誤的系統負責之後才面對這個問題。最聰明的組織在這兩種情況發生之前就提出這個問題,認識到防止事件發生的治理紀律同時也為自信、可擴展的 AI 採用創造了條件。治理不是減慢 AI 部署的摩擦。它是使 AI 部署在規模化、受監管產業以及在出錯的後果超出眼前任務、延伸到組織的法律地位、客戶關係和長期競爭地位的情境中可持續的基礎。本指南解釋了 AI 治理涵蓋什麼,它如何構建,以及在 AI 成熟度的每個階段的組織需要構建什麼。

為什麼 AI 治理已成為業務必需

未受治理的 AI 創造的問責缺口

在業務背景下,每個做出或為決策提供資訊的 AI 系統都會產生問責問題。如果決策是錯誤的,誰負責?如果系統產生有害的輸出,誰承擔這種損害?如果監管機構詢問某個特定結果是如何得出的,誰能解釋它並出具支持該解釋的文件?

在沒有 AI 治理框架的組織中,這些問題始終產生相同的答案:沒有人明確負責,文件不存在,無法提供解釋。這種答案在監管調查、訴訟以及大規模 AI 失敗之後的客戶和聲譽後果中代價昂貴。

AI 治理透過在 AI 系統部署之前定義每個系統的所有者、該所有權在持續責任方面意味著什麼,以及哪些文件和監督實踐創造問責所需的稽核軌跡,從而填補問責缺口。它將未受治理的 AI 的隱性、分散的問責轉變為明確的、可執行的責任,使組織能夠在被詢問時回答困難的問題。

治理的業務理由不僅僅是降低風險。具有成熟 AI 治理框架的組織在新的 AI 部署上行動更快,因為評估流程、合約範本和每個新部署的監督結構已經存在。受治理的組織中的第一個 AI 部署構建了使每個後續部署更快、更安全的基礎設施。未受治理的組織中的第一個部署與第五個一樣緩慢和有風險,因為沒有任何東西被傳承下來。

加速治理採用的監管壓力

在監管期望的背景下,什麼是 AI 治理?它越來越多地是金融服務、醫療保健、資料保護以及 AI 特定監管框架中的監管機構直接提出的直接問題的答案。EU AI Act 對部署高風險 AI 系統的組織施加治理義務。金融監管機構已將 AI 治理納入審查框架。資料保護當局期望大規模透過 AI 處理個人資料的組織作為 GDPR 合規的一部分有書面化的 AI 治理。

監管軌跡在各個司法管轄區都是清晰和一致的。對書面化 AI 治理的期望正在收緊,而不是放鬆,回應當前要求建構治理專案的組織正在領先於正在發展中的要求,而不是落後於已經強制執行的要求。

了解 AI security 要求如何與更廣泛的 AI 治理框架相互作用,有助於組織建構安全控制和治理結構相互加強的專案,而不是作為並行、脫節的努力運作,從而在它們的邊界處產生缺口。

AI 治理的八項原則

大多數成熟的 AI 治理框架,無論是由領先組織內部開發的還是由監管和標準機構編纂的,都圍繞一組一致的基礎原則進行組織。理解這些原則提供了使具體治理政策連貫而非任意的概念架構。

透明度要求 AI 系統及其決策流程對其影響的人員和負責它們的組織是可理解的。透明度並不意味著每個模型的每個技術細節都公開揭露。它意味著 AI 在決策中參與的存在、做出這些決策的一般依據以及圍繞系統的問責結構對那些有合法興趣理解它們的人是可知的。

問責制要求一個有姓名的人或組織實體對每個 AI 系統的運行、其輸出和後果負責。缺乏明確的問責制是大多數 AI 治理失敗的根本原因,而明確地建立它是其他控制措施從中流出的基礎治理行為。

公平性要求 AI 系統不會產生系統性地使受保護群體處於不利地位或以不公正方式延續歷史偏見的輸出。對於業務 AI 系統,公平性在大多數司法管轄區既是道德義務又是法律義務,特別是對於用於就業、信貸、住房和類似高風險決策情境的 AI。

安全性和可靠性要求 AI 系統始終如一地執行其預定功能,並且故障透過定義的流程被偵測、控制和解決,而不是透過影響被發現。

隱私要求 AI 系統按照適用的資料保護法和對其資料被處理的個人的合理期望來處理個人資料。

安全要求 AI 系統受到保護,免受 AI 系統面臨的特定攻擊向量和故障模式的影響,包括提示注入、資料洩漏和對抗性操縱。

人工監督要求結果性 AI 決策受到有意義的人工審查,而不是完全委託給沒有問責制的自動化系統。

合規要求 AI 系統在適用於其部署情境的法律和監管框架內運行,包括產業特定法規、資料保護法和新興的 AI 特定監管要求。

實踐中 AI 治理的四大支柱

理解什麼是運營層面的 AI 治理需要從原則轉向在組織實踐中實施這些原則的結構性組件。四大支柱提供了建構大多數有效 AI 治理專案的結構性框架。

支柱一:政策和標準

AI 治理的政策層定義了貴組織關於可接受的 AI 使用、禁止的 AI 應用、AI 系統的資料處理要求,以及 AI 部署在投入生產之前必須滿足的標準的決定。這些是為員工、供應商和監管機構提供貴組織要求的書面參考點的書面化決定。

有效的 AI 治理政策具體到足以指導真實決策,而不會粒度過細以至於在墨水乾燥之前就過時。規定 AI 工具在沒有簽署資料處理協議的情況下不得處理個人身份資訊的政策是具體、持久和可操作的。逐個列出每個批准的 AI 工具的政策每次採用新工具或停用現有工具時都會過時。

最重要的早期建立的政策是定義員工如何能夠和不能夠使用 AI 工具的 AI 可接受使用政策、將資料敏感性類別映射到允許的 AI 處理環境的資料分類政策,以及定義工具在組織資料可以流經它們之前必須滿足的安全和合規要求的 AI 採購政策。

政策類型	它定義了什麼	它主要管轄誰
可接受使用	員工允許和禁止使用的 AI 工具	所有員工
資料分類	哪些資料類別可以透過哪些 AI 系統處理	所有員工和 AI 系統操作員
採購和供應商	AI 工具的安全和合規要求	採購、IT、法務
開發和部署	AI 系統在生產發布前必須滿足的標準	工程和產品團隊
事件回應	如何偵測和處理 AI 安全和品質故障	安全和營運團隊
模型風險管理	受監管活動中 AI 模型的驗證、監控和治理	風險和合規職能

支柱二:問責制和所有權結構

問責支柱定義了在整個 AI 治理專案和每個單獨的 AI 系統中誰對什麼負責。沒有明確的所有權,政策就是沒有執行的文件,事件就是沒有所有者的事件。

AI 治理的問責通常在兩個層面運作。專案層面建立誰擁有整體的 AI 治理框架,通常是首席 AI 官、首席風險官或具有來自法務、安全、合規和業務領導層的跨職能代表的 AI 治理委員會。這種專案層面的所有權設定標準、審查其充分性,並在整個 AI 部署足跡中保持可見性。

系統層面為每個單獨的 AI 系統分配一個有姓名的所有者,該所有者負責該系統對治理標準的合規性、其安全態勢、其輸出的品質,以及在出現問題時的適當回應。這個所有者不一定是技術專家。他們是負責的人員,確保系統在治理要求內運行,並擁有關於該系統何時需要修改、限制或退役的決策。

審查 AI architecture 決策如何影響系統所有權的清晰度以及系統所有者履行其治理職責的實際能力,有助於組織設計部署,使問責制不僅在書面上分配,而且在操作上有意義。

支柱三:風險評估和管理

風險管理支柱涵蓋組織如何在特定 AI 部署上線之前以及在其整個運營生命週期中持續地系統識別、評估和應對與之相關的風險。

AI 系統的風險評估需要解決表徵 AI 特定風險的四個主要風險類別。營運風險涵蓋 AI 系統可能失敗或效能下降的方式。資料風險涵蓋在 AI 系統營運過程中如何處理組織資料和個人資料。合規風險涵蓋部署觸發的監管和法律義務。聲譽風險涵蓋 AI 故障損害組織與客戶、合作夥伴和監管機構關係和地位的可能性。

GDPR 要求對高風險 AI 處理進行的資料保護影響評估為更廣泛的 AI 風險評估提供了有用的範本,即使對歐盟以外的組織和超出隱私範圍的風險也是如此。其記錄系統做什麼、它處理什麼資料、它創造什麼風險以及哪些緩解措施應對這些風險的結構很好地轉化為 AI 治理風險評估需求的完整範圍。

支柱四:監控、稽核和持續改進

監控支柱涵蓋組織如何持續了解其 AI 系統是否在治理要求內運行,如何偵測偏差,以及如何使用該營運經驗來改進單個系統和治理專案本身。

AI 治理目的的監控超出了營運團隊處理的技術效能監控。它包括定期審查 AI 系統輸出的品質和偏見、對存取日誌的適當使用模式進行稽核、審查供應商對合約義務的遵守情況,以及評估隨著 AI 部署環境和監管環境的演變,治理政策是否仍然充分。

這一支柱的持續改進維度是將成熟的 AI 治理專案與合規演練區分開來的。基於營運經驗更新其政策、完善其風險評估框架並加強其控制措施的專案隨著時間推移在有效性上複合增長。在某個時間點建立治理並將其視為已完成的專案會累積其書面化標準與其治理的實際 AI 環境之間日益增長的差距。

了解企業 AI 平台中的 AI features 如何支援治理監控、稽核日誌記錄和合規報告,有助於組織選擇其營運特性支援而非破壞其治理專案要求的工具。

實踐中 AI 治理的樣子

跨部署生命週期的實際範例

一家金融服務公司部署 AI 系統以協助關係經理與客戶溝通,說明了 AI 治理在完整部署生命週期中的樣子,而不是作為一個抽象框架。

部署之前,治理專案要求進行風險評估,記錄系統處理什麼資料、適用什麼監管要求、需要什麼安全控制以及系統所有者將是誰。採購流程驗證供應商持有適當的認證、將簽署所需的資料協議,並且不使用客戶資料進行模型訓練。為所涉及的個人資料處理完成資料保護影響評估。對系統進行輸出品質、跨客戶細分的推薦偏見以及對提示操縱的安全性測試。

在部署期間,系統所有者透過定期抽樣監控輸出品質、審查升級模式以評估授權邊界是否正確校準,並維護公司合規職能和潛在監管審查所需的稽核日誌文件。安全團隊監控存取模式中的異常情況,並定期測試自初始安全評估以來可能出現的新提示注入技術。

每年,治理審查評估風險評估是否仍然當前、供應商認證是否仍然有效、政策框架是否充分涵蓋了系統的演變,以及監控方法是否產生了維持治理信心所需的可見性。系統、其連線性或監管環境的變化會觸發新的評估,而不是等待年度週期。

這種生命週期方法是將治理與合規作秀分開的原因。每個階段都有定義的行動、定義的所有者和定義的文件,共同產生一個真正受治理的系統,而不僅僅是被描述為受治理的。

AI 治理所需的技能

建構和營運有效的 AI 治理專案所需的專業能力跨越幾個學科,這些學科很少在單獨的從業者中共存,這就是為什麼 AI 治理職能往往是跨職能的,而不是位於單一團隊中。

對 AI 系統的技術理解,足以評估風險、評估安全控制並與工程團隊就治理要求進行有意義的溝通,這是基礎。這不需要機器學習研究專業知識,但確實需要足夠的實踐 AI 素養來區分有意義的安全主張和行銷語言,並理解架構決策如何影響治理結果。

涵蓋資料保護法、產業特定法規和新興的 AI 特定監管環境的法律和監管專業知識對於建構滿足適用於組織 AI 部署的合規義務的治理專案至關重要。

風險管理方法論,包括用於系統識別、評估、記錄和管理組織風險的框架和實踐,直接轉化為 AI 治理風險評估工作,並提供了臨時治理工作通常缺乏的結構化方法。

政策制定和組織變革技能決定了治理專案是產生改變行為的文件還是沒有人閱讀的文件。將技術和法律要求翻譯成員工可以遵循且領導層將執行的清晰、實用的政策的能力是單憑技術和法律專業知識無法替代的治理能力。

連接技術、法律和業務受眾的溝通技能是有效 AI 治理的結締組織。無法將其要求清楚地傳達給工程師、將其合規證據清楚地傳達給監管機構以及將其風險評估清楚地傳達給執行領導層的治理專案,無論其技術品質如何,都會在使其有效的組織整合中失敗。

需要了解的事項

關於實踐中 AI 治理是什麼的幾個重要現實,組織在專案發展過程中持續遇到:

治理需要在事件之前存在,而不是作為對事件的回應。主動建構 AI 治理的組織將其作為一種能力來發展。在事件之後被動建構治理的組織是在時間壓力下建構的,利益相關者的信心已經受損,而且通常更缺乏靈活性來設計他們真正需要的專案,而不是眼前事件所要求的專案。

AI 治理的範圍需要包括嵌入式 AI,而不僅僅是獨立的 AI 工具。嵌入在廣泛使用的企業軟體、生產力應用和通訊平台中的 AI 功能在通常比獨立的 AI 工具部署不太可見、不太仔細評估的治理條件下處理組織資料。範圍僅限於顯而易見的 AI 工具的治理專案存在顯著的盲點。

治理文件同時服務於多個目的。一個建構良好的 AI 風險評估同時滿足監管審查要求、指導系統所有者決策、為安全測試優先級提供資訊,並支援與供應商的採購談判。設計治理文件以服務於其多個受眾,與為每個目的建立單獨的工件相比,減少了總文件負擔。

30% 原則適用於治理流程設計。AI 治理專案營運應依靠自動化監控、系統化日誌記錄和結構化審查流程來處理大約 30% 的治理活動,特別是高頻率、基於規則的監控工作,而治理專業人員將其專業知識集中在涉及風險判斷、監管解釋、事件回應和需要人類問責的策略治理決策的 70% 上。

董事會層面對 AI 治理的參與正在成為許多產業的監管期望。金融機構、醫療機構和上市公司的董事會越來越被期望展示對 AI 風險的積極監督,而不僅僅是意識到 AI 治理專案的存在。建構為董事會消費而設計的治理報告是一種專案成熟度能力,在大多數組織預期需要它之前就變得重要。

AI 治理專案需要與它們治理的 AI 系統一樣的版本控制和變更管理。隨著監管環境的變化、組織 AI 足跡的演變和威脅環境的發展,治理政策和程序需要以書面化、受控的方式更新,以維持專案在每個時間點要求的可稽核歷史。

將 AI 治理建構為策略性組織能力

在最具策略性的層面上,什麼是 AI 治理?它是決定企業是否能夠自信地、可持續地採用 AI,還是必須在快速行動和管理風險之間做出選擇的組織能力,因為它尚未建構允許同時做到這兩點的基礎。

發展強大 AI 治理的組織始終發現,它使他們的 AI 雄心成為可能而不是受到限制。治理所需的批准工具專案、供應商評估流程、風險框架和監控基礎設施都減少了每個系統從 AI 想法到安全生產部署的時間,在第一個系統之後。第一次部署建構了基礎。每個後續部署都受益於此。

一份關於從初始框架開發到組織成熟建構 AI 治理專案的全面 AI guide,幫助組織建構其治理投資,以獲得成熟專案所提供的複合回報,而不是不成熟方法所產生的一次性合規演練。

監管環境、競爭格局以及圍繞 AI 的組織利害關係都朝著同一方向發展。將 AI 治理作為一種真正能力建構的組織,具有能力發展所需的投資、人才和領導承諾,正在一個無法負責任地治理其 AI 的組織發現其無法這樣做成為對他們可以部署什麼、可以在哪裡營運以及誰會信任他們的資料和決策的約束性限制的環境中,建構一個可持續的競爭地位。

常見問題

AI 治理的一個例子是什麼?

AI 治理的一個實際例子是一家金融服務公司,要求每個 AI 系統在部署前完成書面化的風險評估、分配一個有姓名的系統所有者負責持續的合規監控、維護所有 AI 輔助決策的稽核日誌以供監管審查,並對照當前政策標準和監管要求對每個系統進行年度審查。 這個例子說明了治理是一種完整的生命週期實踐,而不是一次性的批准流程,涵蓋了將真正的治理與合規作秀區分開來的問責制、文件和持續監督。

AI 治理需要什麼技能?

AI 治理所需的核心技能是足以評估風險和評估安全控制的技術 AI 素養、涵蓋資料保護和產業特定 AI 義務的法律和監管專業知識、用於系統評估和文件的風險管理方法論、將要求轉化為實用組織指導的政策制定能力,以及連接技術、法律和業務領導層受眾的跨職能溝通技能。 由於這些技能很少在單獨的從業者中共存,有效的 AI 治理職能通常是跨職能團隊,而不是單一學科的角色。

AI 治理的 8 項原則是什麼?

AI 治理的八項原則是關於 AI 系統存在和決策邏輯的透明度、透過明確的 AI 系統及其後果的人類所有權實現問責制、確保 AI 輸出不會系統性地使受保護群體處於不利地位的公平性、透過一致的效能和定義的故障管理實現的安全性和可靠性、保護 AI 系統處理的個人資料的隱私、防禦 AI 特定攻擊向量和故障模式的安全、對結果性 AI 決策保持有意義的人工審查的人類監督,以及符合適用於每個部署情境的法律和監管框架的合規性。 這些原則提供了使具體治理政策連貫的概念架構,使組織能夠評估其治理專案是否在解決負責任的 AI 部署所需的全部義務範圍。

AI 治理的四大支柱是什麼?

AI 治理的四大支柱是定義 AI 部署和使用的組織要求的政策和標準、為每個 AI 系統分配明確的人類責任的問責制和所有權結構、在部署前和部署期間系統識別和應對 AI 特定風險的風險評估和管理流程,以及保持對治理合規性持續可見性並推動專案長期發展的監控、稽核和持續改進實踐。 這些支柱共同創造了將 AI 治理原則轉變為營運實踐的結構性框架,為組織提供了既能設定標準又能驗證這些標準在其整個 AI 部署足跡中得到滿足的機制。

哪 3 種工作將在 AI 中倖存?

最能抵禦 AI 替代的三類工作是需要複雜人類判斷和對結果性決策的倫理問責的角色、建立在人際信任、關係管理和 AI 無法複製的情感智能之上的角色,以及涉及物理世界專業知識和 AI 系統尚不能可靠導航的非結構化環境中的靈巧性的角色。 AI 治理本身代表了一個不斷發展的專業領域,結合了幾個這些有韌性的特徵,需要使其真正抵抗它旨在監督的自動化的人類判斷、監管解釋、組織溝通和問責結構。