什么是 RAG AI？检索增强生成是一种将大型语言模型在生成响应的那一刻连接到外部知识源的技术,允许模型引入当前的、特定的和可验证的信息,而不是仅仅依赖于它在训练期间学到的内容。其结果是一个用真实数据而非泛化近似来回答问题的 AI 系统。
如果您曾经向标准的 AI 助手询问过有关贵公司内部流程的问题,并收到了一个听起来合理但完全是编造的答案,那么您已经体验过 RAG 旨在解决的核心限制。语言模型是根据某个固定时间点之前的数据进行训练的。它们对您的专有文档、当前库存、最新政策或在其训练截止日期之后发生的任何事情一无所知。RAG 改变了这一根本限制,它为模型提供了一种在回答之前查找内容的机制,就像准备充分的分析师在给出建议之前会查阅源文档,而不是完全依靠记忆工作一样。对于在准确性和特定性至关重要的环境中部署 AI 的企业来说,理解什么是 RAG AI 及其工作原理不是一个技术细节。它是真正有用的 AI 和自信地产生看似合理却毫无意义内容的 AI 之间的区别。
为什么标准语言模型存在根本性的知识问题
训练截止限制
当今存在的每一个大型语言模型都是在具有明确结束日期的数据集上训练的。在该日期之后发生的一切,每一项政策变更、每一次产品更新、每一项监管发展、自模型训练以来创建的每一条组织知识,对它来说都是不可见的。对于一般知识任务,这种限制是可以管理的,因为基础知识变化缓慢。对于企业应用程序而言,如果对当前特定信息的准确性是全部目的,那么这就是一个严重的运营问题。
第二个限制是范围。即使是在最广泛可能的数据集上训练的最大语言模型,也无法获得从未出现在其训练数据中的信息。贵公司的内部知识库、客户合同、技术文档、定价结构和操作程序几乎肯定从未出现在任何公开的训练数据集中。回答这些主题问题的模型并不是在检索它所知道的信息。它是在根据训练中的模式生成听起来像答案的文本,这一过程会产生流畅、自信的响应,但可能与实际事实毫无关系。
这种现象在 AI 研究中有一个名称:幻觉。它描述了语言模型倾向于生成事实上不正确的信息,并以与准确信息相同的自信语气呈现。对于日常使用场景,幻觉只是一种不便。对于法律、医疗、金融或运营环境中的企业应用程序,它是一种责任。
RAG 如何同时解决这两个问题
RAG AI 具体解决什么问题?它通过单一的架构添加同时解决了截止问题和范围问题。RAG 系统不是要求模型仅根据训练数据回答,而是在查询时从外部源检索相关文档或数据,并将检索到的内容包含在模型用于生成响应的上下文中。
模型不是在猜测您的退款政策内容。它在响应之前检索了实际的政策文档。它不是在估算您的 Q3 收入数字是多少。它在回答之前从您的财务系统中提取了实际数字。模型的角色从唯一的知识源转变为检索信息的智能合成器,这是语言模型做得非常好的任务。
这种架构转变的影响远远超出了修复幻觉。这意味着 AI 系统可以通过更新其知识源来更新,而不是重新训练其模型。这意味着响应可以引用其来源,使验证变得简单。这也意味着组织可以构建能够访问真正敏感的内部知识的 AI 系统,而无需将这些知识纳入训练数据集。
RAG AI 实际是如何工作的
检索管道详解
RAG 系统有两个主要组件,在语言模型生成响应的一个字之前依次工作。
第一个组件是知识库及其索引基础设施。AI 应该能够借鉴的文档、记录、网页、数据库条目或任何其他信息都会以一种使它们可以按含义而不仅仅是按关键字搜索的方式进行处理和存储。这通常涉及将文本转换为称为嵌入的数字表示,该表示以允许数学上相似的内容一起检索的形式捕获语义含义。关于客户退款流程的问题会检索有关退货、换货和满意度保证的内容,即使这些确切的词没有出现在查询中。
第二个组件是当用户提交查询时激活的检索机制。查询被转换为与存储文档相同的嵌入格式,系统识别在语义上最与查询相似的存储内容。检索到的内容,即与所提问题最相关的段落、文档或记录,被组装并与原始查询一起传递给语言模型。
然后,语言模型生成基于该检索上下文的响应,而不是依赖其训练数据来获取所需的特定事实。训练数据对于模型的语言能力、推理能力和一般世界知识仍然很重要。但响应的具体事实内容来自检索到的材料。
| RAG 系统组件 | 它的作用 | 为何重要 |
|---|---|---|
| 文档摄取 | 处理和分块源文档以进行索引 | 确定系统可以访问哪些知识 |
| 嵌入模型 | 将文本转换为语义向量表示 | 启用基于含义的检索,而不是关键字匹配 |
| 向量数据库 | 存储嵌入以进行快速相似性搜索 | 使检索速度足够快以供实时使用 |
| 检索机制 | 识别每个查询最相关的内容 | 决定检索上下文的准确性 |
| 语言模型 | 生成基于检索内容的响应 | 从检索的事实中产生连贯、综合的输出 |
| 来源归属 | 跟踪哪些文档为每个响应提供了信息 | 实现验证并建立用户信任 |
了解 RAG 管道中的 AI 架构决策如何影响检索质量和响应准确性,有助于组织构建能够可靠运行的系统,而不是在演示中表现良好但在生产中不一致。
RAG 与标准 LLM:差异在实践中表现在哪里
RAG AI 与标准 LLM 之间的区别在标准模型失败而 RAG 系统成功的特定场景中最为明显。
被问及贵组织当前数据保留政策的标准 LLM 会根据其训练数据中的常见数据保留实践生成响应。它可能听起来完全正确。它几乎肯定不是在描述您的实际政策。被问及同一问题的 RAG 系统会检索您的实际政策文档,并根据该文档所述生成响应。语言相似。准确性截然不同。
被问及昨天提交的客户投诉的标准 LLM 完全不知道您在说什么。投诉在其训练之后。连接到贵公司 CRM 的 RAG 系统会检索投诉记录并生成响应,该响应反映该特定客户情况的实际细节。
被要求总结您上传的研究报告关键发现的标准 LLM 可能会生成一个听起来合理的摘要,但省略关键发现、歪曲结论或不准确地组合文档不同部分的细节。RAG 系统会检索与摘要请求最相关的特定章节,并生成基于实际文本的输出。
| 场景 | 标准 LLM 响应 | RAG AI 响应 |
|---|---|---|
| 内部政策问题 | 生成不针对您政策的合理通用答案 | 检索实际政策文档,从其内容中回答 |
| 关于最近事件的问题 | 声明它没有信息或生成过时的答案 | 从连接的知识库中检索当前信息 |
| 客户特定查询 | 无法访问单个客户数据 | 检索相关客户记录并准确响应 |
| 技术文档查询 | 可能产生技术细节幻觉 | 检索特定文档章节并引用它们 |
| 竞争情报 | 仅限于训练数据,通常已过时 | 从连接的来源检索当前信息 |
| 合规性问题 | 从一般监管知识中回答 | 检索适用规则和组织特定程序 |
企业最有效地部署 RAG AI 的领域
内部知识管理
内部知识管理用例是 RAG AI 提供其最明显商业价值的地方。大多数组织都有大量制度知识,分布在文档存储库、wiki、过去的项目文件、政策文档和通信中,员工花费大量时间手动搜索这些内容。在该知识库上的 RAG 系统将其转变为对话资源,员工可以用自然语言查询并从中获得准确的、有来源的答案。
这里的复利价值是巨大的。在头脑中持有组织知识的经验丰富的员工最终会离开。存在但难以找到的文档在功能上几乎与不存在的文档一样不可访问。RAG 系统使所有员工无论资历如何都能访问组织知识,减少了搜索信息的时间,并在需要的上下文中浮现相关知识,而不是要求员工知道在哪里查找。
审查企业 RAG 平台中的 AI 功能如何处理检索内容的访问控制对于此用例至关重要,因为并非所有组织知识都应该平等地对所有员工开放。配置良好的 RAG 系统仅检索查询用户被授权访问的内容,而不是知识库中的所有内容。
面向客户的支持和服务
由 RAG 支持的客户服务应用程序代表了这项技术最具商业影响力的部署之一。由 RAG 管道支持的客户服务 AI,涵盖您的产品文档、故障排除指南、订单管理系统和政策数据库,可以回答有关客户实际情况的具体、准确的问题,而不是生成将客户转给人类代理以获取所需特定信息的通用响应。
商业理由很简单。准确的首次联系解决降低了支持成本,减少了向人工代理的升级,并产生了更好的客户结果。使 AI 系统能够实现准确的首次联系解决的技术基础几乎总是 RAG。没有检索,模型就无法访问准确的支持响应所需的当前的、客户特定的信息。
合规和监管应用
金融服务、医疗保健、法律和其他高度受监管的行业正在将 RAG AI 部署在监管文档集上,以帮助合规团队更有效地驾驭复杂、频繁更新的规则集。能够查询 RAG 系统中适用法规、指导文件和内部政策框架的全文,并接收针对特定合规问题的准确、有来源的答案的合规官,比依靠记忆或手动文档审查的合规官工作效率更高、信心更强。
RAG 系统的引用能力在合规环境中特别有价值。引用其所依据的特定监管段落的答案是可验证和可辩护的,而没有来源的 AI 生成答案则不是。当答案为具有监管后果的决定提供信息时,这种差异极其重要。
了解 AI 安全要求如何适用于连接到敏感监管和合规数据的 RAG 系统,有助于组织构建能够在所索引的文档中保持适当访问控制的检索管道。
构建真正有效的 RAG 系统
大多数项目低估的数据质量问题
RAG 系统的效果仅取决于它们检索的内容。匆忙跳过数据质量评估直接进入构建 AI 界面的有趣部分的组织一直发现,检索质量比语言模型的选择更能决定响应质量。质量差的源文档、过时的内容、格式不一致的信息以及未维护的知识库会产生检索错误内容并生成基于错误信息而不是没有信息的响应的 RAG 系统。
实际含义是,知识库准备不是在真正工作开始之前要快速完成的初步步骤。它是项目的核心部分,决定了部署的系统是否有用。文档质量审查、内容时效性评估、冲突版本的去重和访问控制映射都需要在构建索引基础设施之前进行。
分块策略会影响下游的一切
源文档在索引之前如何被划分为可检索的单元对检索质量的影响比大多数团队在开始构建 RAG 系统时所意识到的要大。太小的块会丢失使其内容有意义的上下文信息。太大的块会检索超出相关的内容,并稀释语言模型用于生成准确响应的信号。最佳分块策略取决于知识库中的文档类型、典型查询的性质以及所使用语言模型的上下文窗口。
在部署给用户之前用代表性查询测试检索质量,可以在分块问题仍然可以解决的时候浮现出来,而不是在用户体验到不一致的响应质量之后。
关于 RAG 实施方法论的全面 AI 指南帮助组织围绕最影响生产质量的决策来构建他们的构建过程,而不是开发期间技术上最有趣的决策。
需要了解的事项
组织通常在首次部署期间或之后发现的关于 RAG AI 的几个重要现实:
检索质量和生成质量是需要单独评估的独立问题。RAG 系统可以检索正确的内容并生成综合得不好的响应,或检索错误的内容并生成听起来准确但实际上不准确的流畅响应。在评估端到端系统性能之前独立测试两个组件可以识别问题实际上存在的地方。
RAG 不会消除幻觉,它会减少幻觉。从检索上下文生成响应的语言模型仍然可以通过误解检索材料、错误地组合信息或生成检索上下文中不存在的细节来产生不准确的内容。良好的检索比没有检索的幻觉风险要低得多,但人工审查对于高风险应用程序仍然很重要。
嵌入模型的选择显著影响检索质量。不同的嵌入模型在不同类型的内容上表现更好。针对一般文本检索优化的模型在技术文档、法律语言或领域特定术语上可能表现不佳。在承诺一个嵌入模型之前,用您的实际文档类型和查询模式测试检索质量可以防止以后昂贵的重新架构。
知识库维护是一项持续的运营功能,而不是一次性的设置任务。随着源文档的更新、新内容的添加和过时内容变得具有误导性,RAG 知识库需要相应地更新。将初始索引视为知识库工作完成的组织最终会得到这样的系统:其准确性随着索引内容与当前现实之间的差距扩大而下降。
访问控制需要在检索时强制执行,而不仅仅是在知识库摄取时。不应该看到某些文档的用户不应该收到基于这些文档的响应,即使这些文档已在系统中编入索引。检索时权限执行是安全要求,而不是可选增强功能。
30% 规则可以有用地应用于 RAG 部署规划。AI 检索和综合应该处理大约 30% 的知识工作,即查找和综合部分,而人类专业知识处理判断、解释和具有重要意义的决策,这些构成了剩余的 70%。围绕这种平衡设计 RAG 部署创建了真正增强人类知识工作而不是试图取代仍然需要由人来做的判断的系统。
为什么 RAG AI 正在成为企业 AI 的标准架构
在企业 AI 采用的更广泛背景下,什么是 RAG AI?它是使语言模型对企业实际需要 AI 处理的特定、当前、组织知识任务实际有用的架构模式。语言模型的推理、综合和用自然语言交流的能力与检索系统对当前、特定、可验证信息的访问相结合,产生了任何一个组件都无法单独提供的东西。
部署了标准语言模型并因幻觉、过时知识和无法处理公司特定问题而失望的组织,通常是在错误的架构中部署正确的技术。相同的模型,连接到维护良好的知识库上的精心构建的检索管道,产生截然不同且更有用的结果。
在过去两年中,构建 RAG 系统的技术障碍已大幅降低。使 RAG 实用的框架、向量数据库和托管检索基础设施已经成熟,有良好的文档,并且对没有专业 AI 研究背景的工程团队是可访问的。区分成功的 RAG 部署和令人失望的部署的更多是关于组织纪律,即正确准备知识库、严格评估检索质量,并将系统作为活的运营资产而不是已完成的项目来维护,而不是技术复杂性。
常见问题
GPT 和 RAG 有什么区别?
GPT 是一种完全基于训练期间学到的模式生成响应的大型语言模型,而 RAG 是一种将任何语言模型(包括 GPT)连接到外部知识源的架构方法,这些知识源在响应时被检索并包含在模型的上下文中。 没有检索的 GPT 仅从训练数据中回答,而基于 GPT 的 RAG 系统在生成响应之前检索相关的当前信息,产生基于特定、可验证来源的答案,而不是训练数据的概括。
RAG 和生成式 AI 有什么区别?
生成式 AI 是产生新内容(包括文本、图像和音频)的 AI 系统的广泛类别,而 RAG 是应用于文本生成 AI 的特定技术,该技术通过检索步骤增强生成,在模型生成响应之前从外部源提取相关信息。 所有 RAG 系统都是生成式 AI,但大多数生成式 AI 系统不是 RAG 系统。RAG 是一种架构增强,使生成式 AI 对知识密集型任务更准确和当前。
RAG 与 LLM 是什么?
LLM 是一种基于训练数据生成文本的语言模型,而 RAG 是一种将 LLM 与检索系统配对的架构,使模型生成基于检索文档的响应,而不仅仅是训练数据。 RAG 系统中的 LLM 处理语言理解和生成,而检索组件处理查找与每个查询相关的当前、特定信息。它们一起产生的输出比任何一个组件独立产生的更准确、可验证和组织相关。
RAG 解决什么问题?
RAG 主要解决三个问题:训练截止限制,使标准 LLM 无法回答有关最近事件或当前信息的问题;范围限制,阻止模型了解从未出现在公共训练数据中的专有组织知识;以及幻觉问题,即模型在缺乏问题所需的特定知识时生成貌似合理但不准确的响应。 通过在生成响应之前检索相关内容,RAG 将 AI 输出建立在可验证的来源而不是统计模式上,产生可以为业务关键应用程序检查、引用和信任的答案。
哪 3 种工作会在 AI 中存活?
最能抵御 AI 取代的三类工作是:需要物理世界互动和在非结构化环境中具有灵活性的角色;以复杂的人类判断、伦理推理和对重大决策的责任为中心的角色;以及围绕人际信任、情商和关系管理建立的角色。 RAG AI 和类似系统正在使知识检索和综合高度自动化,这强化了这些角色所依赖的独特人类能力的价值,而不是 AI 现在更有效处理的信息处理任务。