企业 AI 安全指的是用于保护大型组织免受人工智能系统在业务运营中大规模部署时出现的特定威胁、漏洞和数据风险的策略、技术控制、治理框架和运营实践。它远远超出了传统网络安全的范围,以应对 AI 系统所独有的攻击向量、故障模式和合规义务。

大多数企业安全计划都是为软件环境构建的,在该环境中,应用程序行为可预测,输入是结构化的,输出是确定性的,攻击面由网络边界和已知端点定义。AI 系统同时违反了上述每一个假设。它们接受无法完全验证的非结构化自然语言输入,产生在相同条件下变化的概率性输出,并越来越多地在连接的系统中采取自主行动,从而放大任何妥协的后果。在不进行修改的情况下将现有安全框架应用于 AI 部署的组织,正在使用为其他目的设计的工具保护从根本上不同类别的技术。由此产生的差距并非理论上的。它们正在被那些了解 AI 系统既是高价值目标又是许多安全团队仍在学习如何防御的新型攻击面的攻击者所利用。本指南解释了企业 AI 安全需要什么,最重要的风险集中在哪里,以及最有效的组织正在做什么来构建与实际 AI 威胁形势相匹配的安全计划。

为什么企业 AI 安全需要不同的方法

规模和连接性问题

企业 AI 部署在直接影响所需安全方法的方面与小规模或实验性 AI 使用不同。在企业规模上,AI 系统不是个别员工偶尔使用的工具。它们集成到核心运营工作流程中,连接到敏感数据存储库,并以使每个输出的手动监督在运营上不可能的数量做出或为决策提供信息。

这种规模在重要方面改变了风险方程式。每天处理数千次客户交互的 AI 系统,如果在敏感数据处理上有百分之二的错误率,即使该百分比听起来可控,也会产生显著的绝对暴露。被授权在多个连接的企业系统中采取行动的 AI 代理,如果易受提示注入攻击,则会比相同漏洞在隔离部署中产生更大的爆炸半径。并且,如此深入地嵌入运营工作流程的 AI 系统,以至于将其删除将造成运营中断的,已经积累了组织依赖性,这使得在发现后解决安全漏洞比在部署前解决要复杂得多。

企业 AI 的连接性维度增加了攻击面,而单点时间安全评估始终低估了这一点。连接到电子邮件、日历、文档管理、CRM 和内部知识库的企业 AI 助手通过每一个集成,都可访问组织最敏感信息的重要横截面。该 AI 系统的安全边界不是 AI 工具本身。它是它所连接的每个系统以及连接它们的每个数据流的组合安全态势。

企业监管要求如何塑造安全义务

受监管行业的企业组织承担的 AI 安全义务远远超出了仅靠良好安全实践所需的范围。金融服务监管机构期望对用于受监管活动的 AI 系统进行模型风险管理文档记录。医疗保健监管机构对处理受保护健康信息的 AI 系统要求具体的技术保障。欧盟、英国和其他越来越多司法管辖区的数据保护机构期望对大规模处理个人数据的 AI 系统采取有文件记录的安全措施。

这些监管义务为企业 AI 安全创造了纯技术安全框架未能完全捕捉的合规维度。技术上安全但缺乏监管机构期望看到的文档、审计跟踪和治理结构的企业 AI 部署不符合规定,即使实际上没有发生安全故障。从一开始就将合规证据生成构建到 AI 安全架构中,比在监管查询后改造文档要便宜得多。

审查 AI 安全要求如何与特定行业的监管框架交互,有助于企业安全团队构建既满足其技术安全目标又满足适用于其特定行业和数据类别的合规义务的计划。

企业 AI 安全中的主要风险类别

模型和推理层风险

AI 模型本身代表了一个攻击面,企业安全团队仍在开发工具和专业知识来评估和防御它。模型级别风险包括通过精心制作的输入操纵模型输出的对抗性攻击、通过用户提供或检索的内容覆盖模型指令的提示注入,以及通过系统查询重构专有模型功能的模型提取攻击。

对于已经投资于在专有数据上微调 AI 模型的企业,模型提取既是知识产权风险,也是竞争情报风险。对微调模型进行足够系统的查询系列,即使模型本身不可公开访问,也可以揭示有关训练数据和微调期间所做的特定调整的重要信息。部署专有微调模型的企业需要将速率限制、查询监控和模型访问模式的异常检测作为其安全架构的一部分。

企业规模的提示注入所带来的后果远超过消费者环境中登上头条的令人尴尬或有害的输出。连接到金融系统、人力资源数据库或客户记录的企业 AI 代理通过提示注入被成功操纵,可以泄露敏感数据、执行未经授权的交易或损坏记录,这些方式会造成立即的运营损害和难以补救的合规暴露。AI 连接性与提示注入爆炸半径之间的直接关系是企业 AI 部署中最重要的架构安全考虑因素之一。

数据管道和 RAG 安全

企业 AI 系统越来越依赖于将模型连接到实时组织知识库、文档存储库和运营数据源的检索增强生成架构。这些数据管道的安全性与模型本身的安全性同样重要,因为检索的内容塑造了模型产生的内容,而数据管道攻击可以利用这一点。

从访问控制不足的知识库中检索内容的 RAG 系统可能会将文档返回给不应有访问权限的用户,这些文档嵌入到看起来像 AI 自己的知识而不是检索的组织内容的 AI 生成响应中。AI 可以检索什么内容的访问控制需要强制执行与直接文档访问相同的信息边界,而测试该强制执行需要成为安全计划的一部分,而不是一种假设。

通过操纵索引内容进行数据投毒是新兴的企业 AI 安全问题。如果攻击者可以修改 RAG 知识库中的文档,他们可以影响 AI 系统对每个查询检索投毒内容的主题的用户的响应。知识库内容的完整性是 RAG 部署需要通过适用于其他敏感企业数据的相同访问控制、变更日志和完整性验证来维护的安全属性。

风险类别	主要攻击向量	企业特定关切	关键控制
提示注入	用户输入或检索内容中的恶意指令	被企业工具连接性放大	输入验证、输出监控、最小权限工具
数据外泄	AI 模型用于检索和暴露未经授权的数据	外泄的规模和自动化	检索访问控制、输出过滤、异常检测
模型提取	系统查询以重构专有模型	知识产权和竞争情报暴露	速率限制、查询监控、访问控制
RAG 数据投毒	操纵索引知识库内容	影响检索受影响内容的所有用户	知识库完整性控制、变更日志
影子 AI	绕过安全控制的未授权 AI 工具使用	大型组织中的暴露规模	可见性监控、批准工具计划、DLP
供应链	受损的模型权重或第三方集成	难以通过标准控制检测	模型完整性验证、供应商安全评估

身份、访问和治理风险

在服务账户凭证下广泛访问组织系统和数据运行的企业 AI 系统,代表了许多企业尚未完全纳入其身份治理计划的特权访问管理挑战。具有与高级员工相同的系统访问权限但没有该员工的行为背景、问责结构或判断力的 AI 代理是高价值目标,值得对人类特权用户应用相同的特权访问管理严格性。

AI 系统使用的服务账户需要进行清点,其访问权限需要限定在运营要求范围内,其使用需要监控异常,并且其凭证需要按照应用于其他特权服务账户的相同轮换和保护标准进行管理。在许多企业环境中,AI 系统服务账户通过迭代集成工作积累了访问权限,而没有人类用户账户所经历的定期访问审查,创造了特权访问清单差距,获得这些凭证控制权的攻击者可以广泛利用。

企业 AI 中的治理风险延伸到围绕 AI 系统运营的组织问责结构。当 AI 系统犯错、采取未经授权的行动或导致合规违规时,该结果的问责需要明确地由一名拥有责任和权力来监督该系统的指定人类所有者承担。AI 系统在没有明确人类所有权的情况下运营的企业,是没有人确保满足安全和合规义务的组织。

理解关于服务账户设计、访问限定和系统所有权的 AI 架构决策如何影响安全态势和治理清晰度,有助于企业构建具有有效安全计划所需的问责结构的 AI 部署。

构建企业 AI 安全计划

应用于企业规模的四大支柱

AI 安全的四大支柱:输入安全、输出安全、访问和集成安全,以及监控和可观察性,都适用于企业规模,但需要超越较小部署所需的企业级实施。

企业规模的输入安全需要在数百或数千名可能通过多个界面和集成点与 AI 系统交互的用户中一致地执行策略。应用于一个界面但通过 API 集成被绕过的提示注入过滤器代表了一个差距。企业输入安全需要在不受信任的内容可以到达模型的每条路径上一致地应用控制,包括用户界面、API 端点、检索内容管道和工具输出馈送。

企业规模的输出安全需要对 AI 生成输出的全部容量进行监控覆盖,这可能对每个项目的人工审查来说太多。AI 辅助输出监控,使用分类模型来标记需要人工审查的输出,而不是尝试对每个输出进行人工审查,是高容量企业部署的实用方法。标记标准需要足够具体,以浮现真正的关切,而不会产生压倒分配处理它们的审查容量的误报量。

企业规模的访问和集成安全需要大规模 IT 环境应用于特权访问管理的那种系统架构。每个 AI 系统的集成都需要记录在案,每个服务账户的权限都需要被限定和审查,所有 AI 系统在整个企业的综合访问足迹需要作为聚合图像对安全团队可见,而不仅仅是作为单个系统评估。

企业规模的监控和可观察性需要与部署足迹成比例的基础设施投资。在多个业务部门和地理区域运营数十个 AI 系统的企业需要集中式日志记录和监控基础设施,将所有部署的 AI 安全事件聚合为安全运营可以处理的连贯图像。每个系统的孤立日志记录创建了一个调查环境,在该环境中跨 AI 系统关联事件需要手动工作,这破坏了事件响应的速度和彻底性。

企业 AI 的供应商安全评估

企业组织通常同时部署来自多个供应商的 AI 功能,包括基础模型 API 提供商、企业 AI 平台供应商、嵌入现有软件产品中的 AI,以及可能在内部管理的开源部署。每个供应商关系都代表了企业 AI 安全态势的一个组成部分,需要单独评估和持续管理。

企业 AI 的供应商安全评估需要解决标准 IT 供应商评估通常对 AI 特定风险权重不足的几个维度。

训练数据使用问题在企业规模上特别重要,因为流经 AI 系统的组织数据量使宽松训练数据条款的累积暴露相当大。与 AI 供应商的企业协议应将禁止训练数据使用作为标准合同条款明确禁止,并且该禁令需要在实际协议中得到验证,而不是从供应商营销材料中假设。

子处理者透明度对企业 AI 供应商很重要,因为支持 AI 服务的基础设施可能涉及主要供应商之外的多个第三方。通过企业平台访问的基础模型可能在不同提供商的云基础设施上运行,模型权重由第三方存储,使用由第四方记录。理解完整的子处理者链以及在每个点应用的安全控制对于完整的企业 AI 安全评估是必要的。

安全认证的有效期和范围需要主动验证而不是单点时间确认。企业安全计划应将供应商认证的年度验证纳入其供应商管理日历,以及审查在认证周期之间发生的供应商安全实践和基础设施的重大变化的流程。

审查企业 AI 平台中的 AI 功能如何在完整部署堆栈中实施安全控制,有助于安全团队识别供应商提供的控制在哪里是强大的,以及企业端控制需要在哪里弥补差距。

企业 AI 安全的运营化

将 AI 安全集成到现有安全计划中

最有效的企业 AI 安全计划不会作为现有安全计划旁边的单独职能运作。它们将 AI 特定要求集成到企业已经运行的安全流程、工具和治理结构中,扩展这些结构以涵盖 AI 特定考虑因素,而不是创建分散安全问责的并行计划。

漏洞管理计划需要纳入 AI 特定漏洞类别,包括提示注入易感性、对抗性鲁棒性和模型提取抵抗,以及现有计划解决的传统软件漏洞。AI 渗透测试和红队演练需要与传统渗透测试一起纳入测试日历。

事件响应计划需要 AI 特定的剧本,以解决与 AI 安全事件相关的证据类型、调查方法和通知义务。已经在多个连接系统中采取未授权行动的受损 AI 代理创造了一个调查挑战,围绕受损用户账户和恶意软件感染构建的传统事件响应程序并不能完全解决。

变更管理流程需要将 AI 系统更新和模型变更作为触发安全审查的变更事件。改变 AI 系统行为的模型更新、扩展系统数据访问的新集成,或改变系统如何响应边缘情况的提示工程变更,都是具有潜在安全影响的变更,值得获得与对传统企业软件变更相同的审查关注。

关于将 AI 安全集成到企业安全运营中的全面 AI 指南,帮助组织构建覆盖 AI 特定风险的计划扩展,而不会创建分散 AI 和非 AI 系统之间安全问责的组织孤岛。

企业 AI 计划的安全指标

企业 AI 安全计划需要可衡量的安全态势指标,使领导层能够评估计划有效性并做出明智的投资决策。没有事件不是充分的安全指标,因为它无法区分安全计划和尚未经历可见事件的计划。

有用的企业 AI 安全指标涵盖了 AI 部署足迹的覆盖范围、控制有效性和响应能力。

指标类别	示例指标	所指示内容
清单覆盖	已完成安全评估的 AI 系统百分比	AI 足迹中处于积极治理之下的部分
控制部署	配置了日志记录和监控的 AI 系统百分比	部署中的可观察性覆盖
漏洞管理	修复已识别 AI 安全漏洞的平均时间	安全态势改善的速度
访问治理	具有文档化访问审查的 AI 服务账户百分比	特权访问管理的成熟度
供应商评估	具有最新安全评估的 AI 供应商百分比	供应链安全覆盖
事件响应	检测和遏制 AI 安全事件的平均时间	响应能力有效性
影子 AI	已识别和处理的未授权 AI 工具数量	治理执行有效性

需要了解的事项

随着大型组织的 AI 安全计划日趋成熟,它们会持续遇到几个重要的现实问题:

AI 安全技能差距是真实存在的,需要有意识地投资。有效评估、设计和运营企业 AI 安全计划所需的 AI 技术知识和安全专业知识的结合确实稀缺。等待市场提供训练有素的 AI 安全专业人员的企业正在等待无法大规模满足需求的供应。通过对现有安全员工进行 AI 特定威胁和控制培训来发展内部能力,是比仅靠外部招聘更快、更可靠的途径。

跨司法管辖区对企业 AI 安全的监管关注正在加强。EU AI Act 对高风险 AI 系统的要求包括在受监管用例中部署 AI 的企业需要满足的特定安全义务。主要市场的金融监管机构正在将 AI 特定问题纳入审查框架。医疗保健监管机构正在澄清现有数据安全要求如何适用于 AI 系统。构建满足当前监管期望的安全计划的企业,更有能力适应即将到来的额外要求。

30% 原则特别适用于企业 AI 安全治理决策。企业安全计划应依靠自动化控制和 AI 辅助监控来处理约 30% 的安全运营,即自动化能持续处理的高容量、基于模式的检测和响应工作,而安全专业人员则将其专业知识集中在 70% 涉及复杂调查、风险判断、监管关系管理以及需要人类问责的战略性安全决策上。

多云和多供应商 AI 部署创造了单一供应商环境所避免的安全复杂性。企业在 AI 供应商之间保持可选性的驱动力出于商业和竞争原因在战略上是合理的,但由于不同供应商以不同方式实施安全控制、日志格式和 API 行为,这创造了安全集成挑战。构建跨供应商差异规范化的安全基础设施是单一供应商简单性所避免的真正投资。

平均而言,AI 安全事件的发现滞后比传统安全事件长。AI 系统的故障模式通常表现为质量下降、微妙的行为变化或合规违规,而不是传统安全事件产生的系统中断和明显的数据盗窃。构建可以识别这些更微妙的故障模式而不仅仅是明显故障模式的检测方法,需要超越传统安全事件检测的 AI 特定监控。

关于企业 AI 安全的董事会和高管沟通需要将技术概念翻译为非技术领导可以采取行动的业务风险术语。以技术术语沟通 AI 安全的安全团队经常发现他们的计划相对于实际风险资金不足,因为领导无法将技术语言与业务影响联系起来。为 AI 安全投资提案制定业务风险框架,是一项在组织支持和资源分配方面带来回报的计划成熟度能力。

将企业 AI 安全构建为组织能力

发展强大 AI 安全计划的企业始终共享一个超越其特定技术控制和治理结构的特征。它们将企业 AI 安全视为一种随时间成熟的组织能力,而不是具有完成状态的项目。威胁形势在演变。监管环境在收紧。AI 部署足迹在扩大。评估、治理和响应 AI 安全挑战的组织能力需要并行演变。

这种能力发展需要同时在三个维度投资。提供 AI 部署足迹可见性和控制的技术基础设施。结合安全深度和 AI 系统理解的人类专业知识,这种方式是任何一门学科本身都无法提供的。以及在从董事会到个别 AI 系统所有者的组织各级建立对 AI 安全结果明确问责的治理结构。

企业 AI 安全不是一个被解决就保持解决的问题。它是一种随着技术、威胁和它运营的组织背景持续变化而构建和持续发展的能力。以这种方式接近它的企业,通过持续投资、明确所有权和有意识的能力发展,构建了使在规模和风险敏感背景中(它最重要的地方)进行充满信心的企业 AI 采用成为可能的安全基础。

常见问题

什么是 AI 中的企业数据保护?

AI 中的企业数据保护指的是技术控制、合同保护和治理实践的结合,确保 AI 系统处理的组织数据在 AI 工作流程的整个生命周期中保持安全、适当限制并符合适用的监管要求。 它涵盖 AI 基础设施中传输和静态的数据、对供应商使用该数据进行模型训练的合同禁止、管理谁和哪些系统可以向 AI 工具提交数据的访问控制,以及决定该数据在使用后在供应商基础设施中保留多长时间的保留和删除实践。

什么是企业 AI 工具?

企业 AI 工具是专门为组织部署而设计和签订合同的人工智能产品,通过包括数据处理协议、训练数据禁止、SOC 2 和其他合规认证、基于角色的访问控制、审计日志记录,以及允许它们与现有企业系统安全连接的集成能力等功能,与消费者 AI 产品区分开来。 它们通常以高于消费者同类产品的价格运营,特别是因为它们包括企业数据治理所需的法律、技术和运营基础设施,而消费者工具并未提供这些。

如何将 AI 用于安全?

AI 用于安全,以支持识别网络和用户活动中行为异常的威胁检测系统(其规模超出基于规则的检测可以处理的范围)、自动化高容量文档和通信流程中的数据分类和数据丢失预防、协助安全分析师进行警报分类和调查工作流程,以及监控 AI 系统本身的对抗输入、异常输出和异常访问模式,这些指示了 AI 特定的安全事件。 最成熟的企业安全计划既将 AI 作为其安全治理的目标,也将其作为其安全运营中的工具,将两个维度都视为真正的优先事项,而不是允许对一个的关注挤掉对另一个的注意力。

AI 在企业中有哪些风险?

企业中 AI 的主要风险分为四类:由 AI 系统故障、不准确的输出和性能下降引起的运营风险,这些风险扰乱业务流程;由未经授权的访问、意外保留和供应商数据处理实践引起的数据风险,这些风险暴露敏感的组织信息;由违反适用监管要求的数据处理、自动化决策或特定行业 AI 治理的 AI 部署引起的合规风险;以及由 AI 故障引起的声誉风险,这些故障以损害组织信任和关系的方式被客户、监管机构或公众看到。 企业规模放大了每个这些风险类别,因为 AI 处理的数量、系统集成的广度和对 AI 输出的组织依赖,都增加了在较小部署规模下可能被控制和管理的故障的后果。

AI 风险的 4 种类型是什么?

AI 风险的四种类型是涵盖扰乱业务流程的系统故障和输出不准确的运营风险、涵盖未经授权访问和不当处理 AI 系统处理信息的数据风险、涵盖由 AI 部署和运营触发的监管违规的合规风险,以及涵盖 AI 事件和故障的公众和利益相关者信任后果的声誉风险。 在企业环境中,这四个类别以较小部署不会经历的方式相互作用和复合,因为企业 AI 的规模、连接性和组织依赖性放大了任何未在传播到依赖它的业务流程和利益相关者关系之前被发现和遏制的故障的后果。