零信任 AI 安全是将零信任原则应用于人工智能系统,要求对每个用户、模型、数据源和集成点进行持续验证,并仅授予执行其功能所需的最小访问权限,不基于网络位置或之前的身份验证授予隐式信任。它将 AI 系统视为高价值目标,要求与任何其他特权基础设施同样严格的访问控制。

传统的安全边界模型假设威胁来自网络外部,内部系统是可信的。这一假设在 AI 到来之前就已经岌岌可危。AI 部署彻底打破了它。一个连接到内部数据库、电子邮件、文档库和外部 API 的 AI 系统跨越了边界模型无法定义、更无法防御的信任边界。它接受来自任何地方的输入,从多个来源检索内容,并在连接的系统中以序列形式执行操作,这是任何传统访问控制模型都不是为治理而设计的。攻击面不是一个定义好的边界。它是 AI 系统可以遍历的所有连接的完整集合、它将处理的全部内容范围,以及它被授权执行的全部操作范围。零信任 AI 安全通过用对每次交互、每次数据访问和 AI 系统执行的每个操作进行持续验证来取代边界假设,从而应对这一现实。本指南解释了零信任原则如何具体应用于 AI 部署,在 AI 上下文中七大支柱的样貌,以及组织需要构建什么才能使该模型在实践中发挥作用。

为什么边界安全对 AI 系统特别失效

互联 AI 问题

传统的企业应用程序有一组定义好的用户、一组定义好的功能,以及相对可预测的数据访问模式。安全团队可以围绕这些定义构建访问控制,监控偏差,并将异常视为潜在攻击的信号。行为的可预测性使得边界安全即使不完美也能够运作。

AI 系统,特别是代理式 AI 系统和连接到检索管道的系统,并不具有相同意义上的可预测行为。它们的响应随输入而变化。它们访问的数据取决于运行时生成的查询,而不是预定义的访问列表。它们通过连接工具执行的操作取决于被赋予的任务,而不是固定的功能集。围绕系统所做工作的静态定义构建的边界安全无法跟上它实际访问和执行内容的动态现实。

提示注入攻击直接利用了这一差距。能够将恶意指令引入 AI 系统检索或接收的任何内容的攻击者,可能完全重定向系统的行为,使其以绕过所有控制正常系统行为的边界控制的方式访问数据、执行操作或暴露信息。这种攻击不会跨越网络边界。它跨越了系统自身处理过程内的信任边界,在边界防御无法监控的通道中。

零信任 AI 安全通过将验证从网络边界移到每个单独的交互来解决这个问题。它不是询问用户或系统是否在可信网络内,而是询问这个特定请求,来自这个特定身份,针对这个特定资源,在这个特定时刻,是否被授权。这个问题是持续被询问的,而不是在身份验证时只问一次。

AI 如何放大信任违规的后果

零信任 AI 安全比传统应用程序的零信任更重要的原因不是 AI 系统本身就不那么安全。而是连接 AI 系统中信任违规的后果,因系统的连通性和自主性以传统系统中等效违规所没有的方式被放大。

传统应用程序中被入侵的用户帐户会创建该用户可以访问的访问权限。具有广泛工具访问权限的被入侵或被操纵的 AI 代理可能在单个自动化序列中遍历多个连接的系统、从多个源外泄数据,并在多个平台上执行操作,这需要攻击者大量的努力才能手动复制。使 AI 代理在合法任务中有价值的自动化,在其行为被操纵或访问被利用时,也使其在非法任务中高效。

零信任 AI 安全通过确保即使被成功操纵的 AI 系统也只能访问和影响在当前上下文中获得权限的特定资源,而不是继承在身份验证时授予并从未重新审视的广泛访问权限,从而减少信任违规的影响半径。

回顾 AI 安全架构关于访问范围划定和持续验证的决策如何影响 AI 系统被入侵的实际影响半径,有助于组织构建安全故障后果有界而非无界的部署。

应用于 AI 系统的零信任七大支柱

零信任安全围绕七大支柱组织,这些支柱共同定义了完整的验证和控制架构。应用于 AI 系统而非传统应用程序时,每个支柱都呈现出特定的特征和要求。

支柱一:身份验证

在传统零信任中,身份验证涵盖人类用户和服务帐户。在零信任 AI 安全中,身份表面扩展到包括需要验证的 AI 模型本身作为一个身份,代表用户行事的代理需要为访问控制目的与那些用户区分开来,以及 AI 系统用于访问连接资源的服务帐户需要以与人类特权帐户相同的严格性进行管理。

对访问 AI 系统的人类用户而言,持续身份验证而非基于会话的身份验证是零信任标准。多因素身份验证、监控异常使用模式的行为分析,以及根据所请求内容的敏感性调整验证要求的上下文感知访问策略,都适用于 AI 系统部署。

对于自主运行的 AI 代理而言,身份挑战是维持代理的访问范围被限定到其执行的特定任务,而不是继承启动它的人类用户的完整访问权限的原则。代表用户执行研究任务的代理应该具有研究访问权限,而不是用户的完整访问足迹。这种范围划定需要明确的身份架构,而不是许多代理框架实现的默认继承。

支柱二:设备安全

零信任 AI 上下文中的设备安全涵盖用户访问 AI 系统的端点和运行 AI 模型的基础设施。对于用户设备,标准零信任控制适用,包括授予访问权限前的设备健康验证、端点检测和响应覆盖,以及根据设备管理状态变化的访问策略。

基础设施层需要特别注意,因为 AI 推理硬件代表了传统端点安全未设计应对的高价值目标。运行大型模型的 GPU 服务器既包含模型权重(代表重要的知识产权),也包含通过推理处理的数据,这些数据可能包括敏感的组织信息。AI 推理基础设施的物理和逻辑安全应受到与其他高价值基础设施资产相同的特权访问管理、完整性监控和访问日志记录。

支柱三:网络分段

零信任网络架构用微分段区域取代了平坦的可信网络,在这些区域中,段之间的流量需要显式授权,而不是在边界内自由流动。对于 AI 系统,网络分段决定了 AI 架构的哪些组件可以与哪些其他组件通信,以及 AI 系统可以到达哪些外部资源。

AI 推理服务器应与它们不需要访问的资源进行网络分段。服务于客户服务查询的模型不需要对财务系统的网络访问。研究 AI 工具不需要对人力资源数据库的访问。网络架构应强制执行这些分离,而不是依赖 AI 系统行为自愿尊重它们,因为提示注入和其他操纵技术可能会覆盖行为限制,而网络分段则物理性地强制执行。

AI 系统的外部网络访问,包括对网络搜索、外部 API 和云服务的访问,应通过允许列表显式允许,而不是默认允许并阻止例外。零信任架构中 AI 系统外部连接的默认值是无访问,根据记录的运营需求添加特定允许的目的地。

支柱四:应用程序安全

零信任 AI 上下文中的应用程序安全涵盖 AI 应用层本身的安全,包括提示基础设施、检索管道、工具集成,以及共同定义 AI 系统如何处理请求并产生响应的输出处理逻辑。

应用层的输入验证和净化代表了应用于 AI 系统的零信任原则——验证内容,而不仅仅是身份。到达模型的每个输入,无论是来自用户、检索的文档、工具输出还是系统消息,都应被视为可能具有对抗性,并通过适当的过滤进行处理,而不是隐式信任。

输出验证以相反的方式应用相同的原则。在到达用户、连接的系统或下游进程之前,AI 系统产生的每个输出都应根据定义的标准进行检查,这些标准检测有害内容、敏感数据泄漏和暗示模型已被操纵的行为异常。

了解应用层的 AI 架构决策如何影响零信任输入和输出控制的实际实施,有助于组织构建将安全嵌入处理管道而非附加在边界上的 AI 系统。

支柱五:数据安全

零信任 AI 下的数据安全要求将 AI 系统的每次数据访问都视为需要显式授权,而不是继承广泛的权限。这是 AI 部署最直接需要专门设计的零信任控制的支柱,因为现有的数据安全架构不是为 AI 检索系统创建的动态、查询驱动的数据访问模式而设计的。

AI 系统在其检索和处理行为中尊重的数据分类需要数据治理基础设施与 AI 访问控制层之间的集成。当用户的授权级别决定他们可以直接在文档管理系统中访问哪些文档时,代表该用户检索文档的 AI 系统应尊重相同的授权边界,只返回用户被授权查看的文档,而不是知识库中与其查询相关的所有内容。

数据最小化是零信任数据的核心原则,要求 AI 系统仅访问和处理当前任务所需的特定数据。被要求起草电子邮件回复的 AI 助手不需要访问完整的客户历史记录。总结特定文档的 AI 工具不需要访问周围的文件夹。在 AI 系统中实施数据最小化需要在细粒度数据级别而非系统或数据库级别运作的访问控制。

回顾企业 AI 平台中的 AI 功能如何实现数据访问控制和检索授权,有助于组织评估供应商的数据安全架构是否支持零信任原则,或是否需要补充控制来达到相同的效果。

支柱六:可见性和分析

零信任安全的前提是能够检测指示信任违规的异常,这需要对 AI 系统所做的一切进行全面可见性。如果没有覆盖每次 AI 系统交互的日志记录和监控,零信任验证在发生违规时不会产生信号,因为检测它们所需的证据不存在。

对于 AI 系统,可见性要求超出了传统的应用程序日志记录。提交给模型的每个查询、通过 RAG 管道检索的每个文档、代理执行的每个工具调用、系统产生的每个输出,以及在每个验证检查点做出的每个访问控制决策,都需要被捕获到安全运营团队可以监控和调查的日志中。

应用于 AI 系统活动日志的行为分析创造了使零信任可见性具有可操作性的异常检测能力。正常 AI 系统行为的基准模型,包括典型查询模式、通常的检索量和标准工具使用频率,可以检测可能表明提示注入、数据外泄尝试或未经授权的访问模式的偏差,这些偏差在没有行为参考点的情况下将是不可见的。

支柱七:自动化和编排

企业规模的零信任无法手动操作。持续验证所需的验证决策、异常响应和访问策略更新发生的频率和系统复杂性是人工操作无法匹配的。自动化和编排是零信任的最后一个支柱,涵盖了使零信任在规模上具有可操作性而非仅在架构文档中具有理论性的系统。

特别是对于 AI 系统,对检测到的异常的自动化响应,包括由异常查询模式触发的速率限制、由行为异常触发的访问限制,以及由潜在提示注入签名触发的警报升级,提供了使零信任检测有意义的响应速度。没有自动化响应的检测会产生一个识别威胁速度比人类行动速度更快的系统。

零信任支柱	传统应用程序	AI 系统特定扩展
身份	用户和服务帐户验证	加上 AI 代理身份、范围限定的任务凭证
设备	端点健康和管理状态	加上 AI 推理基础设施完整性
网络	区域间的微分段	加上用于外部访问的 AI 特定允许列表
应用程序	输入验证和输出监控	加上提示注入检测、输出过滤
数据	基于分类的访问控制	加上检索授权、查询中的数据最小化
可见性	应用程序和访问日志	加上模型查询、检索、工具调用和输出日志
自动化	策略执行和异常响应	加上 AI 特定的行为分析和响应

在实践中构建零信任 AI 安全

从访问审计开始

零信任 AI 安全的实际起点是对组织部署中每个 AI 系统当前可以访问的内容与其实际需要访问的内容进行诚实的审计。这两个清单之间的差距定义了使部署更接近零信任原则的最小特权修复工作。

大多数 AI 系统,特别是通过迭代集成工作演变的系统,已经积累了反映已连接内容历史而非对必要内容的有意评估的访问权限。一个集成了电子邮件以检索引用文档,然后连接到文档管理系统以获取更广泛上下文,然后链接到 CRM 以获取客户参考的研究 AI 工具,现在可能具有跨三个系统的访问权限,每个系统都包含远远超出任何特定研究任务所需的敏感数据。

访问审计产生一个能力图——AI 工具可以访问的每个系统、可以执行的每个操作以及可以检索的每个数据类别——以及一个操作要求图——它实际需要的每个系统、该功能合法需要的每个操作,以及该功能真正需要的每个数据类别。修复就是通过访问范围缩减、网络分段以及为系统偶尔而非持续需要的能力部署即时访问模式来弥合这两者之间的差距。

在不降低性能的情况下实施持续验证

关于将零信任原则应用于 AI 系统的一个常见担忧是,持续验证将引入延迟,降低需要快速响应的 AI 工具的用户体验。这种担忧是真实的,但可以通过架构选择来管理,这些选择将验证放在正确的位置,而不是统一地添加到每次交互中。

经过身份验证的用户访问的会话级验证通过单个身份验证事件处理人类身份验证开销的大部分,而不是按查询。频繁重复的数据访问模式的缓存授权决策减少了检索操作的验证开销,而不放弃验证要求。对于可以容忍稍微延迟授权解析的较低敏感度操作的异步验证保留了零信任审计跟踪,而无需在每次交互上同步延迟。

真正需要在继续之前同步阻塞行为的验证点是那些治理高敏感数据访问、具有重大或不可逆后果的操作,以及触发提高审查的行为异常的验证点。对于已建立行为基线内的常规操作,可以通过精心设计的缓存和异步架构高效地处理验证,而无需用户可见的延迟。

关于实施零信任 AI 安全架构的全面 AI 指南,平衡验证严格性与运营性能,有助于组织避免设计不良的实现所造成的安全性和可用性之间的虚假选择。

图像建议:开发人员或安全架构师在双显示器工作站上审查 AI 系统部署的访问控制配置设置,有组织的技术环境,代码或配置显示在一个屏幕上,系统图显示在另一个屏幕上,任何屏幕上都没有可读的文本。

需要了解的事项

组织在从架构原则转向运营实施时遇到的关于零信任 AI 安全的几个重要现实:

零信任是一个持续的过程,而不是一种部署状态。组织不会实现零信任并被动维护它。它们通过持续的访问范围缩减、监控覆盖扩展和验证架构改进,不断朝零信任迈进。目标是方向性和持续性的,而不是一个定义好的完成状态。

遗留 AI 集成是最难的零信任修复目标。在将零信任原则应用于部署之前与现有基础设施集成的 AI 系统,通常具有在不破坏功能的情况下技术上难以划定范围的访问模式。修复这些集成需要理解零信任要求和运营依赖性,这通常意味着逐个处理集成,而不是应用统一的策略变更。

30% 原则适用于零信任验证自动化。自动化验证控制应处理大约 30% 的安全运营,特别是自动化在规模上一致执行的高频、基于策略的访问决策和行为监控。安全专业人员和治理所有者处理剩余的 70%,涉及风险评估、策略设计、异常调查,以及需要人类问责而非算法执行的判断密集型安全决策。

零信任并不能消除对边界安全的需求。它与边界控制分层,而不是取代它们。转向零信任 AI 安全的组织在添加零信任提供的身份、数据和行为验证层的同时,维护网络边界控制。边界成为众多层之一,而不是主要的防御。

零信任实施对用户体验的影响决定了采用的成功。使 AI 工具显著更难使用的安全架构会推动员工转向在任何零信任控制之外运作的影子 AI 替代品。设计对合法使用最小侵入,同时为异常或高风险操作维护严格控制的验证流,是实施质量要求,而不是可选的增强。

供应商的零信任支持在企业 AI 平台之间差异很大。一些企业 AI 工具设计有零信任集成点,包括身份联合、细粒度访问控制、全面的日志记录 API 和行为监控支持。其他工具需要大量补充基础设施才能实现等效的零信任覆盖。在 AI 工具选择过程中评估供应商的零信任支持,可以减少相对于在未为此设计的工具上改造零信任控制的实施负担。

安全团队和 AI 运营团队之间的共同问责制对于实践中有效的零信任 AI 安全计划至关重要。安全团队带来零信任专业知识。AI 运营团队带来对 AI 系统行为、集成依赖关系和运营要求的理解,这决定了验证控制在哪里是实用的,在哪里需要架构变通。由安全团队设计而无 AI 运营投入的计划往往会创建在部署中失败的理论安全架构。

零信任作为自信 AI 部署的正确基础

零信任 AI 安全不是 AI 系统最方便的安全架构。它需要比边界安全或隐式信任模型更深思熟虑的访问设计、更多对验证基础设施的投资,以及更多的运营纪律。做出这种投资的组织一致地发现,它促进而非约束了它们的 AI 抱负,因为它创建了允许 AI 系统比在没有同等验证严格性的情况下运作的系统更广泛连接、更深度信任,以及在更高风险上下文中部署的安全基础。

最终承载最大组织价值的 AI 系统是那些被信任处理最敏感数据、连接到最重要系统,并被授权采取最有影响力行动的系统。零信任 AI 安全是使这种信任可辩护而非仅是抱负的架构,提供了持续验证、行为可见性和访问范围划定,允许组织对 AI 系统扩展有意义的信任,而不是接受暴露作为能力的成本。

常见问题

AI 中的零信任是什么?

AI 中的零信任是将持续验证和最小特权访问原则应用于人工智能系统,要求对每个用户、模型、代理、数据访问和工具交互进行针对当前授权的验证,而不是依赖于在初始身份验证时授予的或基于网络位置的隐式信任。 它将 AI 系统视为具有动态、互联行为的高价值目标,需要专门为 AI 系统实际操作方式设计的验证架构,而不是不考虑 AI 特定攻击面的传统应用程序安全模型。

什么是零信任安全?

零信任安全是一种基于以下原则的安全模型:任何用户、设备或系统都不应基于其网络位置而被隐式信任,而是要求在授予访问权限之前对每个访问请求针对身份、设备健康和上下文授权策略进行持续验证。 它用一种将每次交互视为可能不可信并需要在每个访问点进行验证(无论请求源自何处)的模型,取代了信任网络边界内一切的传统边界模型。

零信任安全模型的示例是什么?

AI 部署中零信任安全模型的实际示例是企业 AI 助手,其中每个用户在访问系统之前都通过多因素身份验证进行身份验证,AI 的检索管道强制执行请求用户的文档权限,因此它只能浮现他们被授权查看的内容,AI 代理进行的所有工具调用都需要显式的每个操作授权,而不是继承广泛的服务帐户权限,并且每个查询、检索和操作都记录用于行为监控,以标记异常以供安全审查。 此示例说明了零信任跨 AI 系统的身份、数据和操作维度应用,而不仅仅是在网络边界。

零信任如何提高安全性?

零信任通过最小特权访问范围划定来减少成功攻击的影响半径,以限制被入侵的身份或被操纵的 AI 系统可以访问的内容,通过对所有访问事件相对于行为基线的全面日志记录实现更快的异常检测,并消除攻击者一旦进入网络边界后通过横向移动利用的隐式信任假设,从而提高了安全性。 特别是对于 AI 系统,零信任通过对 AI 代理的动态、互联行为应用持续验证来提高安全性,这种行为是边界防御无法治理的,因为它没有定义的边界可保护。

零信任的 7 个支柱是什么?

零信任的七大支柱是:需要持续身份验证用户和系统的身份验证,确保授予访问权限前端点健康的设备安全,用要求它们之间显式授权的微分段区域取代平坦可信网络的网络分段,在应用层应用输入验证和输出监控的应用程序安全,强制执行基于分类的访问控制和数据最小化的数据安全,提供全面日志记录和行为异常检测的可见性和分析,以及在持续验证所需的规模和速度上启用策略执行和异常响应的自动化和编排。 应用于 AI 系统时,每个支柱都呈现出特定的扩展,以解决 AI 行为、连通性和攻击面的独特特征,而这些是传统应用程序安全未设计为治理的。