RAG遇见LLMs：走向检索增强型大语言模型

论文名称：A Survey on RAG Meets LLMs: Towards Retrieval-Augmented Large Language Models

论文地址：https://arxiv.org/pdf/2405.06211

摘要

作为人工智能中最先进的技术之一，检索增强生成（RAG）技术可以提供可靠且最新的外部知识，为众多任务提供了巨大便利。特别是在人工智能生成内容（AIGC）时代，RAG中检索的强大能力在提供额外知识方面使得检索增强生成能够辅助现有生成型人工智能产生高质量输出。最近，大型语言模型（LLMs）展示了在语言理解和生成方面的革命性能力，但仍面临固有限制，如幻觉和过时的内部知识。鉴于RAG提供最新和有用辅助信息的强大能力，检索增强型大语言模型已经出现，利用外部和权威知识库，而不仅仅依赖模型的内部知识，以增强LLMs的生成质量。在本调查中，我们全面审查了检索增强型大语言模型（RA-LLMs）的现有研究，涵盖三个主要技术视角：架构、训练策略和应用。作为初步知识，我们简要介绍了LLMs的基础和最新进展。然后，为了说明RAG对LLMs的实际意义，我们按应用领域对主流相关工作进行分类，具体详细说明了每个领域的挑战以及RA-LLMs的相应能力。最后，为了提供更深入的见解，我们讨论了当前的限制和未来研究的几个有前途的方向。

关键词

检索增强生成（RAG），大型语言模型（LLMs），预训练，微调，上下文学习，提示。

1 引言

作为最基本的数据挖掘技术之一，检索旨在理解输入查询并从外部数据源中提取相关信息 。它在各个领域 中得到了广泛应用，如搜索、问答和推荐系统。例如，搜索引擎（如Google、Bing和百度）是检索在工业界最成功的应用之一；它们可以过滤和检索最相关的网页或文档，以匹配用户的查询 ，使用户能够有效地找到所需信息。同时，检索模型通过在外部数据库中进行有效数据维护，可以提供忠实和及时的外部知识，从而在各种知识密集型任务中发挥重要作用。由于其强大的能力，检索技术已成功地融入到人工智能生成模型[^0]中，在人工智能生成内容（AIGC）时代 [72, 126, 155, 181] 中取得了成功。值得注意的是，检索模型与语言模型的整合催生了检索增强生成（RAG）[69]，这已成为生成型人工智能领域中最具代表性的技术之一，旨在增强文本内容的生成质量 。

图1：检索增强生成（RAG）遇见大型语言模型（LLMs）。当用户的查询超出范围时，例如在训练数据中看不到的内容或需要最新信息来回答时，LLMs可能表现出较差的生成性能。借助RAG的帮助，LLMs可以利用外部数据源中的额外相关信息来增强文本生成能力。

为了推进生成模型并增强生成结果，RAG将来自外部数据源的信息或知识作为输入查询或生成输出的补充 [57, 97]。具体而言，RAG首先调用检索器从外部数据库中搜索和提取相关文档，然后将其作为上下文来增强生成过程 [49]。在实践中，通过简单调整检索组件，RAG技术在各种生成任务中是可行且高效的，几乎不需要额外的训练 [111]。最近的研究不仅展示了RAG在知识密集型任务（如开放域问答（OpenQA）[6, 42, 103]）方面的巨大潜力，还展示了它在一般语言任务 和各种下游应用 中的潜力。 近年来，预训练基础模型，尤其是大型语言模型（LLMs），得到了迅速发展，展现出在各种任务中令人印象深刻的性能，包括推荐系统[187]、分子发现[72]和报告生成[26]等领域。LLMs的巨大成功在技术上归功于先进的架构，使用来自各种来源的大量训练语料进行十亿级参数的预训练。这些技术改进使得LLMs具有了显著的新兴能力[186,187]，尤其在语言理解和生成、上下文学习等方面。例如，GPT-FAR引入了详细的提示，教导GPT-4执行图像标记、统计分析和文本分析，用于多模态时尚报告生成[26]。LLMs还通过理解用户对物品的偏好，在推荐系统中取得了令人期待的表现。尽管取得成功，LLMs仍然存在固有的局限性[186,187]，比如缺乏领域特定知识、"幻觉"问题以及更新模型所需的大量计算资源。这些问题在医学和法律等领域特别引人注目。例如，最近的一项研究表明，法律幻觉普遍存在且令人不安，对于最先进的LLMs，针对特定法律查询的幻觉率在69%到88%之间[21]。此外，由于需要大量计算资源来微调具有领域特定或最新数据的LLMs，解决幻觉问题的挑战变得更加艰巨。这反过来显著阻碍了LLMs在各种实际应用中的广泛采用。

为了解决这些局限性，近年来的努力致力于利用RAG来增强LLMs在各种任务中的能力，尤其是那些对最新和可靠知识需求高的任务，如问答（QA）、科学人工智能和软件工程。例如，Lozano等人[86]提出了一种基于科学文献动态检索的科学特定QA系统。MolReGPT利用RAG增强了ChatGPT在分子发现方面的上下文学习能力[72]。如图1所示，基于LLM的对话系统无法很好地回答超出范围的查询。相比之下，通过利用RAG从外部数据源检索相关知识并将其整合到生成过程中，对话系统成功地给出了用户正确的答案。鉴于在LLMs中引入RAG方面取得的显著进展，迫切需要对检索增强型大型语言模型（RA-LLM）的最新进展进行系统性回顾。

本调查旨在通过总结RA-LLMs的架构、训练和应用等方面的代表性方法，全面概述检索增强型大型语言模型，即RA-LLMs。具体来说，在第2节简要介绍LLMs的背景知识后，我们将从RA-LLMs的检索、生成和增强等几个主要角度回顾现有研究，以及在RAG中检索的必要性和应用频率。然后，在第4节总结RA-LLMs的主要训练技术，第5节总结各种RA-LLMs的应用。最后，在第6节讨论未来探索的关键挑战和潜在方向。

与我们的调查同时进行，有几项相关调查专注于RAG和LLMs的不同方面。例如，Zhao等人[185]专门回顾了基于多模态信息的RAG技术，Zhao等人[184]讨论了AIGC的RAG。Gao等人[37]对LLMs的RAG进行了相对全面的概述。我们的调查与这些调查不同之处在于，我们侧重于技术视角，根据RA-LLMs的架构和训练范式系统性地审查模型，以及应用任务。

2 背景

在本节中，我们简要介绍大型语言模型和提示学习。

2.1 大型语言模型（LLMs）

最近，大型语言模型（LLMs）的重大突破彻底改变了人工智能领域。先进的LLMs通常在包含数十亿参数的大量数据上进行预训练，并展示了理解和生成类似人类文本的能力，从而推动了各种自然语言处理任务的进展，如文本生成和信息检索。LLMs可以通过在特定数据集上微调来适应各种下游任务，使它们能够专注于特定领域或应用。一般来说，大多数现有的LLMs可以大致分为三类：仅编码器、仅解码器和编码器-解码器模型。

仅编码器模型，如BERT（来自Transformer的双向编码器表示）[24]系列模型，通过将输入文本编码为高维空间来处理输入文本。仅编码器模型的关键特征是它们的双向性质，这意味着在编码时可以考虑每个标记的左右上下文。这种双向性使得仅编码器模型能够更好地理解上下文中单词的含义，这对于情感分析、评论阅读和文本分类等任务至关重要。与这些模型相反，仅解码器模型以从左到右的方式生成文本。作为代表性的仅解码器模型，GPT（生成式预训练Transformer）[108]基于先前标记提供的上下文来预测序列中的下一个标记。它们的架构使它们特别适用于语言生成、代码生成和创意写作等任务。编码器-解码器模型，如T5（文本到文本转换Transformer）[110]，独特地将各种NLP任务转化为文本生成问题。更具体地说，T5中的编码器处理输入序列以捕获其含义，而解码器根据编码信息生成输出序列。这种T5架构非常适用于涉及将一个序列转换为另一个序列的任务，如机器翻译、摘要和对话回复生成。

2.2 提示学习

2.2.1 提示工程

由于LLMs的庞大参数，提示学习作为一种范式出现，利用LLMs的力量来执行各种任务，而不是对LLMs进行大量微调。提示学习精心设计了引导模型执行LLMs中下游任务的输入。例如，早期方法提供手工制作的模板来处理NLP中的各种任务。具体来说，像BERT这样的仅编码器模型通常采用填空提示，因为它们与其预训练任务的形式非常匹配。对于像GPT这样的其他模型，前缀提示往往更合适，因为它们与生成任务更契合[7]。然而，手动设计的提示依赖于人类经验，没有效果保证。为了解决这一局限性，软提示调整被开发出来，以学习可训练的连续提示嵌入。例如，前缀调整[77]在输入中添加一系列前缀嵌入，这些嵌入可以被训练和更新。这种方法使得提示不必是真实文本，从而在提示生成方面更具灵活性。然而，由于缺乏领域特定知识，当面对新任务时，模型可能仍无法生成准确的响应。

2.2.2 上下文学习（ICL）

为了克服普通提示学习的局限性，最近的努力发展出了上下文学习（ICL）。ICL是提示学习的一种特定方法，它为模型提供了一些任务示例以在提示中理解模式。这种范式使得预训练的LLMs能够根据示例提供的模式来解决新任务，而无需进行大量微调。例如，通过精心选择一些示例，GPT-3[7]已经展示了执行少样本任务的能力[83]。这一成功表明，LLMs具有根据特定任务知识快速适应新任务的显著能力。

尽管ICL非常有效，但通常严重依赖提供的示例的质量，这可能导致生成次优输出。更糟糕的是，ICL可能没有足够的必要信息或先验知识来指导LLMs生成准确的响应。为了解决ICL的上述局限性，更近期的研究引入了检索增强生成（RAG）技术。通过将检索与生成相结合，RAG模型为增强LLMs在各种任务中的性能和适应性提供了一个有前途的方向。

3 检索增强大型语言模型（RA-LLMS）

在大型语言模型时代，RAG框架通常包括检索、生成和增强三个主要过程，以及确定是否需要检索的机制。在本节中，我们将介绍涉及每个组件的重要技术。

3.1 检索

在LLMs的输入中给定查询后，RAG中的检索过程旨在从外部知识源（可以是开源或闭源的，如图2所示）提供相关信息。如图3所示，关键组件检索器由几个程序组成，作为一个整体来衡量查询和数据库中文档之间的相关性，以实现有效的信息检索。检索的具体流程进一步取决于是否包括预检索和后检索过程。在本小节中，我们将介绍传统和基于LLM的RAG中检索涉及的主要技术，包括检索器类型、检索粒度、预检索和后检索增强以及数据库构建。

3.1.1 检索器类型。检索方法通常可以分为两种类型：稀疏和密集，基于信息编码方法。稀疏检索是基于单词的，主要应用于文本检索，而密集检索将查询和外部知识嵌入向量空间中，可以轻松应用于各种数据格式。

作为一种直接的方法，稀疏检索，例如TF-IDF和BM25 [119, 135]，通常依赖于倒排索引匹配以及原始数据输入。例如，许多研究直接应用BM25进行段落级检索，以促进他们的RAG , ，其中段落被特定表示为词袋，并根据术语和逆文档频率进行排名 [49]。除了提供补充以增强生成器的输入外，稀疏检索还用于查找示例作为RA-LLMs的ICL演示 , 167]。在RAG中应用稀疏检索的主要局限性在于其无训练性质，这使得检索性能严重依赖于数据库构建和查询生成的质量。此外，这种固定的基于术语的方法仅支持相似性检索，而不能适应LLM应用中需要的其他检索考虑，如多样性 [28]。

相反，密集检索将查询和文档嵌入到连续的向量空间中，具有一定的标准，例如语义相似性 [56]。密集检索方法通常可以进行训练，因此在适应性方面更灵活，潜力更大。作为密集检索器的关键组件，嵌入模型在现有的RAG模型中设计上有微妙的不同。一个简单的设计 是直接使用生成模型的一部分作为检索器的嵌入层，这可能能够增强检索和生成过程之间的对齐。基于BERT的骨干结构 [24] 在检索模型中被广泛应用。一个常见的检索器设计是构建具有BERT结构的双流编码器（一个编码器用于查询，另一个用于文档），也称为双编码器 。早期的RAG方法倾向于冻结 或部分冻结 [69] 检索器的参数，以执行通用级别的相关知识提取，并更加关注知识利用和生成器微调。大规模专门的预训练进一步增强了RAG模型在更多知识密集型任务中的表现。一个典型的成功案例是Dense Passage Retriever (DPR) [56]，它使用基于BERT的骨干结构，专门针对具有问题-答案对数据的OpenQA任务进行预训练。DPR已经表现出色强大的能力作为预训练检索器，促使许多RAG模型在各种下游任务中取得成功 。它也被视为改善LLMs性能的RAG范式的第一步，通过微调进一步增强查询和相关文本数据之间嵌入的对齐 [16]。最近的一项研究 [116] 还发现，DPR训练分散了网络中存储知识的方式，为相同信息创建了多个访问路径。通过有效的微调，双编码器检索器也广泛应用于基于ICL的RAG [76, 87, 95, 105, 120, 167]。具体来说，它们更常用于基于句子嵌入相似性的检索，以及用于ICL中的一些特殊要求，如多样性示例检索 [167]。 另一种在 RA-LLMs 中广泛应用的密集检索器流是单编码器结构，可能基于 Transformer、BERT 或其他现成的序列建模骨干。这些单编码器检索器通常通过对比学习在大规模不对齐文档上进行预训练[116]，因此在多功能性方面表现出色，这意味着它们可以更好地转移和泛化到新的领域或任务。这种通用预训练检索器，例如 Contriever [38] 和 Spider [112]，在针对各种任务的LLMs中更灵活，已经在许多RA-LLM方法中展示了它们的有效性，比如 In-Context RALM [111]、Atlas [50]、Self-RAG [5] 以及其他方法 [128]。根据现有研究中的实验结果 [173]，对于开放领域的问答任务，在与 InstructGPT [101] 配合使用时，应用通用预训练检索器（Contriever）而无需微调，其性能与稀疏检索器（BM25）相当。然而，它们都不如在目标数据集上微调的DPR模型，显示了在目标任务和数据上微调的有效性。

图2：针对特定问答任务的基本检索增强大型语言模型（RA-LLMs）框架的示意图，包括三个主要组件：检索、增强和生成。检索可能具有不同的程序和各种设计，可选包括预检索和后检索过程。检索到的文档在生成中通过增强模块进一步利用，增强模块的设计可能基于生成模型中的整合阶段而有所不同。

图3：RA-LLMs中检索器的示意图，可以以密集或稀疏方式实现，每种方式都有几个关键操作。

3.1.2 检索粒度。检索粒度表示语料库中被索引的检索单元，例如文档、段落、标记或其他级别如实体。对于RAG，检索粒度的选择可以显著影响模型的整体性能，因为它们决定了数据库的节省空间以及搜索的计算成本。早期的检索增强语言模型提议检索整个文档片段，然后应用训练有素的机器理解模型来检测返回文档中的答案范围，这更侧重于语言阅读和文档中关键信息的定位。在生成式语言模型中，块检索（在一些参考文献中也称为段落）很常见，已经在传统和基于LLM的RAG模型中使用，如REALM [42]、RAG [69]和Atlas [50]。更细粒度的检索，即标记检索，可以通过更快的搜索进行，但会给数据库节省带来更多负担。标记检索更适用于需要稀有模式或领域外数据的情况，同时与在kNN-LM和其他类似工作中应用的每个标记检索策略相配合。相比之下，文本块可能包含紧凑完整的信息，冗余性和无关性较少，因此成为RAG中主流的检索文本粒度。

RAG中提出的另一种主要检索粒度是实体检索。与上述粒度不同，实体检索是从知识而非语言的角度设计的。Févry等人引入了实体作为专家（EAE）模型，根据实体标识将语言模型的参数空间划分。所提出的EAE模型旨在从文本中学习实体表示，同时利用维基百科数据库和实体记忆来表示知识。在更细粒度上，de Jong等人提出通过学习和检索提及而非实体来构建知识库。总体而言，在RAG中应用实体或提及级别的检索对于以实体为中心的任务更有效，并且与基于标记的检索相比在空间上更有效率。

3.1.3 预检索和后检索增强

为了提高检索质量，即增加检索结果的准确性和相关性，已经提出了各种预检索和后检索策略，以进一步增强检索器的输入和输出。Wang等人[148]提出了一种查询扩展方法Query2doc，通过少样本提示LLMs生成伪文档，并将查询与伪文档中的相关信息扩展，这有助于查询消歧义并指导检索器。他们经验证明，这种方法可以提升稀疏和密集检索器[56]在即时信息检索数据集上的性能。类似地，Gao等人[36]提出了假设文档嵌入（HyDE）方法，指导LLM生成给定查询的假设文档。然后使用这些假设文档作为新查询进行嵌入，并通过密集检索器搜索邻居。另一种预检索策略，查询重写[92]，旨在弥合检索中输入文本与所需知识之间的差距，将原始问题重新表述为更有利于检索的版本。具体来说，Ma等人[92]提出了RewriteRetrieve-Read框架，提示LLM生成检索功能的查询。重写步骤的动机是在新查询中澄清检索需求，以减轻检索功能理解输入的负担并增强输出，即检索到的相关信息。他们测试了使用冻结LLM和可训练模型作为重写器的设置，两者均优于朴素的RAG或生成模型，在不同测试的问答数据集上表现出多样化的性能。

Yu等人[174]提出了查询增强，将原始查询和初步生成的输出合并为新查询，进一步用于从外部数据库检索相关信息。检索到的结果可以启发语言模型重新思考生成的结果并增强它们。与仅应用原始查询相比，这种增强可能为直接澄清查询-输出关系提供更多从语料库检索到的相关信息。在新查询中包含初始输出进一步增强了要检索的支持文档与给定问题之间的词汇和语义重叠。查询增强在这些查询增强策略中取得了整体更好的性能，因为它可以在生成答案时综合处理所有检索到的知识[147]。

后检索增强指的是在将检索器提取的前k个文档馈送给生成器之前对其进行处理，以更好地对齐检索和生成阶段[164]，特别是对于像LLMs这样的闭源生成器。例如，Yang等人[164]提出了可插拔奖励驱动的上下文适配器（PRCA），它使得可以在特定数据集上微调轻量级适配器而不是生成器。它还通过生成器产生的奖励来通过强化学习提炼检索到的文档。Glass等人[40]提出了Retrieve-Rerank-Generate（R^2G）方法，该方法通过重新排列操作将不同检索方法检索到的文档组装在一起，以提升检索结果的稳健性。应用后检索增强的另一个考虑是，检索到的信息有时可能是无关或包含噪音，这可能不利于任务的生成模型，甚至可能损害生成过程[151]。Wang等人[151]，Asai等人[5]，Yu等人[174]提出了不同的策略来减轻检索到的知识文档中的噪音。然而，Xiong等人[158]在实证研究中发现，这些方法依赖于LLM的置信水平，可能不如预期的那么精确。针对这个问题，Wang等人[147]提出了BlendFilter，同时考虑了预检索查询生成混合和后检索知识过滤。这种方法可以解决复杂问题以及嘈杂的检索到的知识问题，从而全面提升RA-LLM的性能。 近年来，提出了使用LLM生成推理路径和计划，并结合信息检索（IR）模块进行迭代知识检索以增强基于LLM的生成的先进RAG流水线[124, 163, 166]。然而，Zhu等人指出，如果IR和LLM的输出质量较低，那么这种迭代引导流水线将相互阻碍检索和生成过程[190]。为了克服这一障碍，他们提出了一种新的查询和检索知识增强的推理方法。检索后策略也可以用于增强检索结果与生成模型之间的兼容性。例如，现有LLM的主要局限之一是输入标记的长度，这阻止了长检索文档直接并入现有RA-LLM中。针对这一限制，Xu等人提出了Retrieve, Compress, Prepend (RECOMP)，在生成过程中增加了一个中间步骤，将检索到的文档处理成文本摘要后再进行上下文增强。

3.1.4 数据库

在RAG中进行的检索是基于外部知识源的，可以是闭源或开源的[92, 94]，如图2所示。闭源数据库通常存储知识的键值对，可以通过各种方式构建。键主要用于相似性匹配，可以是稀疏向量，如BM25中的密集嵌入。值取决于特定的检索目标，在大多数情况下是原始文本[6, 42, 49, 67, 69, 123]。例如，在早期的RAG中，每篇维基百科文章被分成不相交的100字块，总共有2100万篇文档[69]。每个文档由密集嵌入编码并保存在数据库中作为值和键。值也可以存储标记，每个标记对应一个，如kNN-LM和Spalm中应用的方式。数据库的来源取决于特定的应用领域和任务。维基百科是以前RAG工作中最常用的通用检索集之一，存储着结构化的事实信息，并有几个不同规模的版本，从十亿级标记[22, 35, 42, 57, 69, 111, 128, 160, 171]到万亿级标记[6]。领域特定数据库也用于下游任务。例如，对于代码生成任务，Zan等人收集公共库的API信息和代码文件来构建他们的API检索数据库。此外，Zhou等人提出使用一个随时更新新内容（新发布的库）的文档池来增强他们的模型。

利用互联网搜索引擎[89]，如必应和谷歌，可以避免维护搜索索引，并可以访问最新的知识[65]。同时，它提供了比闭源数据库更广泛的知识库。互联网搜索已广泛与黑盒LLM结合，并在不同功能上显示出有效性，如知识增强，事实核查和LLM代理增强。与传统RAG相比，互联网搜索在RA-LLMs中更多地被利用作为检索器，这是因为LLMs具有作为阅读器理解搜索结果（即检索到的文档）的非凡能力，以及LLMs利用工具处理和分析它们的能力。现有研究表明，利用搜索引擎（例如InstrucGPT）对于LLMs在零-shot知识密集型任务（如OpenQA和事实核查）上特别有效。

3.2 生成

生成器的设计在很大程度上取决于下游任务。对于大多数文本生成任务，解码器和编码器-解码器是两种主导结构。商业闭源大型基础模型的最新发展使得黑盒生成模型成为RA-LLMs中的主流。在这部分中，我们将简要回顾这两种类型生成器的研究：可访问参数的（白盒）和不可访问参数的（黑盒）。

3.2.1 参数可访问的生成器（白盒）。

编码器-解码器的结构独立处理输入和目标，使用不同的参数集，其中开发了一个交叉注意力组件，将输入标记连接到目标标记。代表性的编码器-解码器模型包括 T5 [110] 和 BART [68]。相比之下，仅解码器模型在连接后处理输入和目标，这使得两部分的表示在网络向上传播时同时逐层构建。这两种类型的生成器广泛应用于现有的 RAG 工作中。例如，RAG [69] 和 [40] 使用 BART；FID [49] 和 EMDR 利用 T5。还有其他模型 利用基于 Transformer 的编码器-解码器架构，但具有一些定制设计。RAG 中的生成器通过合并检索数据来提高生成的准确性和相关性，与一般生成器有所不同。此外，白盒生成器允许参数优化，可以训练以适应不同的检索和增强方法，以获得更好的生成性能。

3.2.2 参数不可访问的生成器（黑盒）。

一定比例的大型语言模型发布时没有披露内部结构或参数可访问性，尤其是那些特别大规模的模型，如 GPT 系列 [1]、Codex [12] 和 Claude，被称为黑盒生成模型。这些生成器只允许输入查询并接收响应，而不允许修改内部结构或更新参数。从另一个角度看，即使是那些可供微调的语言模型，也因规模庞大且仅有有限数据量的情况下难以调整用于下游领域特定任务。因此，黑盒 RA-LLM 更专注于检索和增强过程，试图通过增强输入（在 LLM 上下文中也称为提示）提供更好的知识、指导或示例，以增强生成器。例如，Rubin 等人 [120] 提出使用语言模型自身标记的数据训练提示检索器，可用于为上下文学习提供更好的示例，从而提高最终生成性能。 等人 [160] 提出在上下文集成之前压缩检索到的文档，可以减少计算成本，也减轻语言模型在长文档中识别相关信息的负担。

3.3 用于生成增强的检索集成

增强描述了集成检索和生成部分的技术过程，这是 RA-LLM 的重要部分。在本小节中，我们介绍了增强的三种主要设计，分别在生成器的输入、输出和中间层进行，如图 2 所示。

3.3.1 输入层集成

将检索到的信息/文档与原始输入/查询结合，并共同传递给生成器是集成检索信息的常见方式，称为输入层集成。例如，In-Context RALM [111] 通过将原始输入和所有检索到的文档特定地连接成一个序列，作为生成模型的新输入。尽管有效，这种集成受检索文档数量的限制，因为连接后的新输入可能过长，无法被生成模型处理。In-context RALM 通过从新输入的开头删除标记来缓解这种限制。为避免使用此标记删除策略导致信息丢失，FID [49] 采用了一种不同的集成方法，即在编码器中独立处理每个检索到的文档。这种策略可扩展到大量上下文，因为后续处理中一次只对一个上下文执行自注意力。Atlas [50] 和 REPLUG [128] 通过依次连接查询和一个检索到的文档来应用类似的并行集成。一般来说，大多数基于黑盒生成的 RAG 方法应用输入层集成，因为既无法访问生成模型的中间层，也无法访问输出分布。

对于 LLMs，输入层集成可能将检索到的内容作为（额外的）提示或演示，除了作为传统 RAGs [120] 中的补充外。提示检索旨在通过检索自动找到适当的自然语言提示，以教导 LLM 在上下文中学习 [7] 或诱导 LLM 进行推理 [154]。它可以增强 LLM 的零-shot 能力，而无需精心设计提示。例如，Cheng 等人 [16] 提出基于输入-提示对数据学习提示检索器，得分标签由冻结的 LLM 产生。

3.3.2 输出层集成

另一种增强方法是事后处理，即输出层集成，它将检索和生成结果结合起来。例如，kNN-LM [57] 在预测中插值了两个下一个标记分布：一个由语言模型引起，另一个由检索语料库中最近邻产生。输出层线性集成易于应用，因为它可以插入到大多数生成模型中而无需额外训练。然而，输出层集成的简单性也限制了模型对检索文本进行推理的能力。为了解决这一限制，Yogatama等人 [171] 提出添加额外的门控网络来后处理检索数据，并取得了相对更好的性能。对于LLM，输出层集成与输入层集成一样合理和适应。REFEED [174] 提出了一种答案细化机制，应用LLM评估检索信息，并相应调整初始答案以提高响应的准确性。类似地，Zhang等人 [182] 提出了COMBO框架，该框架将LLM生成的段落与检索到的段落进行匹配，形成基于预训练鉴别器的兼容对。然后，这些段落对由基于解码器的融合处理[49]以得出最终答案。

3.3.3 中间层集成

与上述两种非参数方法相比，更具吸引力的增强方法是设计一个半参数模块，通过生成模型的内部层集成检索结果，这被称为中间层集成。这种集成可能会增加额外的复杂性，并有望通过有效的训练增强生成模型的能力。通常，引入Transformer模块以将检索信息（主要编码为密集表示）整合到生成模型中，以与生成的中间阶段的表示进行交互。例如，RETRO [6] 引入了一个分块交叉注意力（CCA）层来处理生成器块中的检索块，而吴等人 [157] 引入了kNN增强注意力层。类似地，EAE [35] 和TOME [22] 使用实体记忆和记忆注意力层分别整合检索到的实体和实体提及。这种中间层集成可以频繁有效地使用许多块来增强整个RAG模型的能力。它提供了一个有效的替代方案，可以频繁检索大量文本块，这些文本块由于语言模型的输入长度限制而难以处理[6]。然而，需要注意的是，中间层集成需要对生成模型有高度的访问权限，这对于大多数只能通过推理API访问的LLM来说是不可行的[92]。

3.4 检索增强的必要性和频率

LLM生成中的检索操作通常旨在补充知识以增强生成。尽管检索增强模型已经出现，并且被认为是有前途的，但它们也受到批评，认为它们并非是一个普适的解决方案，因为不加区分地用无关的段落增强LLM可能会覆盖LLM已经拥有的潜在正确知识，并导致错误的响应[93]。Thakur等人 [139] 提供了一个人工注释的数据集，以帮助评估LLM对外部检索知识错误的鲁棒性，并观察到LLM在非相关检索段落上的虚构率可能是在相关段落上的两倍。因此，对于RA-LLM来说，准确回忆先前知识并仅在必要时选择性地整合检索信息是至关重要的，这是构建强大RA-LLM的途径。

大多数现有方法根据LLM的初步答案或其内部推理结果来确定检索的必要性[96,111]。例如，Self-RAG [5] 引入特殊标记来评估检索的必要性并控制检索行为。其他方法设计迭代提示来决定在生成过程中是否需要额外信息，从而需要为LLM调用检索或其他操作。在传统的RAG中，检索必要性判断也已经被探讨，并提出通过直观方法来评估生成模型产生的logits的置信度。这样的解决方案也适用于RA-LLM，例如，FLARE [52] 如果logits低于特定阈值，则动态触发RAG。更灵活地，谭等人 [138] 引入了SlimPLM，一种协作方法，用一个精简代理模型检测LLM中缺失的知识，该代理模型用于生成“启发式答案”。这个“启发式答案”用于评估检索的必要性，并在必要时通过应用在查询重写中促进检索过程。 在传统的很少考虑检索必要性的 RAG 中，检索频率（也称为检索步幅）是确定在生成中使用检索程度的重要设计方面，从而极大地影响 RAG 模型的整体性能 [111]。检索频率控制着依赖检索结果的程度，从而影响模型的效率和有效性。当不考虑检索的必要性时，检索频率通常是预定义和固定的，有三种常见设置：一次性、每 n 个标记和每个标记。一次性检索仅在一次操作中调用检索功能，并尝试在该一次操作中找到所有所需信息。一次性检索通常在生成过程开始时操作，然后将所有检索到的文档与原始输入一起提供给生成模型，如 REALM 中所应用的方式 [42]。一次性检索更适用于外部数据库中信息需求对 LLMs 明显的情况 [52]。然而，对于需要长篇输出的语言任务，如开放域摘要，考虑输出中标记之间的依赖关系更为重要。在这些情况下，通过一次性检索预检索的文档可能不足以支持整个输出序列的生成，这就需要进行生成中的检索操作。为此，In-Context RALM [111] 和 RETRO [6] 在生成过程中应用每 n 个标记的检索以获得更好的增强。相比之下，kNN-LM [57] 采用更频繁的检索策略，在生成过程中为每个标记的预测检索信息。总的来说，应用不同频率的检索会影响整个 RAG 方法的有效性和效率。例如，更频繁的检索会带来更好的性能，但也会增加计算成本 [111]。选择检索频率几乎是计算成本和性能之间的一种权衡。

4 RA-LLMS 训练

根据是否需要训练，现有的 RAG 方法可以分为两类：无需训练的方法和基于训练的方法。无需训练的方法通常在推理时直接利用检索到的知识，而无需通过将检索到的文本插入提示来引入额外的训练，这在计算上是高效的。然而，一个潜在的挑战是，检索器和生成器组件没有专门针对下游任务进行优化，这可能很容易导致对检索到的知识的次优利用。为了充分利用外部知识，提出了广泛的方法来微调检索器和生成器，从而引导大型语言模型有效地适应和整合检索到的信息 [121,122,124,128,145,191]。

根据训练策略，我们将这些基于训练的方法分为三类：1）独立训练方法独立训练 RAG 过程中的每个组件，2）顺序训练方法首先训练一个模块，然后冻结训练良好的组件来引导另一部分的调整过程，3）联合训练方法同时训练检索器和生成器。在接下来的部分中，我们将全面审查无需训练、独立训练、顺序训练和联合训练方法。这些不同训练方法的比较如图 4 所示。

4.1 无需训练

由于具有大量参数，LLMs 展示了人类水平的智能，并在各种下游任务上取得了令人满意的预测性能。然而，由于需要大量的时间和计算资源，频繁进行微调和更新模型参数中存储的知识是极具挑战性的 [69]。最近，许多研究建议使用检索机制增强 LLMs，使它们能够动态地从外部来源获取新知识，而无需额外的训练过程（即无需训练），而不是仅依赖于模型参数中编码的隐式知识。这些方法已经显示出在各种知识密集型任务中取得了显著的性能提升，如开放域问答 [69] 和文档摘要 [134]。根据 LLMs 利用检索信息的不同方式，我们将这些无需训练的方法分为两类：1）基于提示工程的方法直接将检索到的知识集成到原始提示中，2）检索引导的标记生成方法检索信息以校准标记生成过程。

4.1.1 基于提示的工程方法

由于大型语言模型（LLMs）的生成性能高度依赖于输入查询，许多无需训练的RAG方法通过优化原始提示来利用外部知识 。具体来说，通常会将检索到的文本用作上下文信息，并与原始提示结合，引导LLMs的生成 。例如，In-Context RALM [111] 保持LLM参数不变，直接在原始提示之前引入检索到的文档，以增强生成过程。IRCoT [141] 交替进行思维链（CoT）生成和知识检索步骤，相比仅依赖问题作为查询的标准检索方法，能够检索到更相关的信息，用于后续推理步骤。GENREAD [173] 不同于从大型语料库中检索知识，而是首先提示LLM生成基于查询的上下文文档，然后基于给定的上下文和问题生成答案。SKR [151] 提出引导LLMs根据内部知识判断是否能够回答给定问题，通过有选择地调用检索器，实现内部和外部知识的灵活利用。TOC [60] 首先为模棱两可的问题检索相关知识，通过将模棱两可的问题澄清为多个消歧问题，递归构建树结构，进而汇总生成长篇答案。

4.1.2 检索引导的标记生成方法

除了直接将外部知识整合到原始提示中，辅助信息还可用于调整标记生成过程。例如，KNN-KMs [57] 首先基于给定查询从数据存储中检索出个最相关的上下文，并根据距离计算邻居分布。通过插值邻居分布和原模型的输出分布来校准输出分布。Rest [45] 提出用非参数检索数据存储替换参数化草稿模型，并基于当前上下文检索相关标记进行推测性解码。

4.2 独立训练

独立训练指的是将检索器和LLMs作为两个完全独立的过程进行训练，在训练过程中检索器和LLMs之间没有交互 。与无需训练的方法相比，通过训练LLMs利用检索到的知识或训练检索器弥合信息检索和语言生成之间的差距，可以有效提升RAG增强模型的性能。对于LLMs的训练，负对数似然损失是最具代表性的训练目标 ，旨在引导LLMs基于给定输入生成期望的输出。至于检索器，可以分为两种类型：1）稀疏检索器 ，和2）密集检索器 。稀疏检索器通常利用稀疏特征，例如词频，来表示文档，并基于任务特定度量标准 （如TF-IDF和BM25）计算相关性分数。至于密集检索器，采用深度神经网络将查询和文档编码为密集表示，通常使用内积计算相关性分数，并检索相关外部知识。例如，DPR [56] 采用两个独立的BERT [24] 网络分别编码查询和段落，并通过对比学习训练这些模型。CoG [64] 提出训练一个前缀编码器和一个短语编码器用于检索，并将文本生成重新构想为从现有源文本集合中进行多次复制粘贴操作。

4.3 顺序训练

独立训练是在生成过程中利用外部知识的有效方法，因为检索器和生成器可以离线训练，并且可以利用任何现成的模型，避免额外的训练成本。为了更好地增强检索器和生成器之间的协同作用，已经提出了几种方法来顺序训练检索器和LLMs。在这些顺序训练方法中，通常的过程是从独立预训练检索器或生成器中的一个开始，预训练模块固定后，另一个模块进行训练。需要注意的是，各种现有模型（例如BERT [24, 59, 117]，CLIP [107]，T5 [110]）可以直接用作固定的检索器和生成器，从而避免第一个预训练过程。与独立训练相比，顺序训练涉及检索器和生成器的协调训练，可训练模块从固定模块的帮助中受益。根据检索器和生成器之间的训练顺序，顺序训练可以分为两类：1) 先检索器 [5, 121, 122, 145, 191]，和2) 先LLMs 。

图 4：检索增强大型语言模型（RA-LLMs）中不同训练方法的示意图。现有的RA-LLMs方法可以分为两类：无需训练的方法通常在推理时直接利用检索到的信息，将检索到的知识整合到提示中；基于训练的方法对检索和生成器进行微调，以增强生成性能。根据训练策略，基于训练的方法可以进一步分为三组：独立训练，其中检索器和生成器组件独立训练；顺序训练，它们按顺序训练；联合训练，它们一起训练。

4.3.1 先检索器

这些方法首先训练检索模型，然后固定它。然后LLMs通过利用检索到的知识进行训练。例如，RETRO [6] 采用独立预训练的BERT模型作为检索器，然后训练一个编码器-解码器架构，将检索到的片段整合到模型的预测中。 RALMs [172] 采用Google搜索和开源的COLBERTV2 [59] 作为预训练的检索器，并微调LLM以有效利用检索到的段落。 ITERRTGEN [118] 利用预训练的S-BERT [117] 作为检索器，并引入自适应混合检索策略来检索演示。此外，它利用T5 [110] 作为生成器，根据目标标签和结合原始提示与检索演示进行进一步微调。 SMALLCAP [115] 提出使用CLIP [107]，这是一个功能强大的预训练多模态网络，来编码输入图像和外部数据存储的文本数据，并基于余弦相似性检索最相关的项目。训练了一个交叉注意力层，并使用GPT-2 [109] 作为解码器生成标题。

4.3.2 先LLMs

类似地，也可以先预训练LLMs，然后在训练良好的LLMs的监督下调整检索器。例如，DKRR [48] 表明，序列到序列模型的注意力分数可以指示文档的相关性。因此，他们建议利用阅读器模型的注意力分数生成合成标签，以训练检索器。 AAR [175] 提出使用小型语言模型为训练检索器生成监督信号。训练良好的检索器可以进一步利用以增强黑盒LLMs的性能。 RA-DIT [80] 首先微调LLMs以增强它们利用检索到的知识的能力，然后训练检索器以更好地使其输出与LLMs对齐。 UPRISE [16] 提出了一种轻量级方法，通过引入提示检索器来增强LLMs在未见任务中的零样本性能。采用冻结的LLMs来指导提示检索器的微调过程，然后在推理过程中，这个检索器检索不同任务的提示与各种LLMs。

图 5：根据自然语言处理应用、下游任务和特定领域应用对RA-LLMs应用进行分类的总结。具体而言，自然语言处理应用包括问答系统、聊天机器人和事实验证；下游任务包括推荐和软件工程；领域特定应用包括科学和金融中的人工智能。 联合训练方法 采用端到端范式同时优化检索器和生成器。与依次训练每个模块不同，联合训练方法有效增强了检索器定位外部知识以供生成和生成器有效利用检索信息的能力。例如，RAG [69] 通过最小化负对数似然来联合训练检索器和生成器。REALM [42] 采用了与 RAG [69] 相似的训练范式，使用最大内积搜索（MIPS）[15, 27, 技术来定位最相关的文档。为了使用 MIPS，首先对所有外部文档进行嵌入，为每个嵌入产生一个搜索索引。提出了一种异步索引更新策略 ，每隔几百个训练步骤刷新索引，以避免重新索引所有文档的时间消耗。

5 应用

在本节中，我们将介绍检索增强型大型语言模型（RA-LLMs）的一些代表性应用。为了清晰概述 RA-LLMs 的应用，我们将从三个角度回顾它们：NLP 应用、下游任务和领域特定应用。本节提到的研究在图 5 中总结和分类。

5.1 NLP 应用

由于在文本生成方面的固有能力，RA-LLMs 在 NLP 领域有各种应用，如问答系统、ChatBot 和事实验证。

5.1.1 问答系统。问答系统旨在为用户的查询提供精确答案。然而，即使在广泛数据上训练过，这些系统可能缺乏最新信息或未包含在其训练数据中的特定领域知识 。为了解决这一限制，整合 RA-LLMs 在提升 QA 系统能力方面发挥了关键作用，通过增强其检索和综合相关信息的能力 。具体而言，RA-LLMs 可通过利用其检索组件访问庞大知识库，提供连贯和上下文相关的答案。例如，REALM [42] 集成了一个知识检索器，可以在预训练、微调和推断期间从大语料库中检索信息。这种方法使 REALM 能够有效地从庞大的知识语料库中检索，从而提高其响应的准确性。类似地，Fusionin-Decoder [49] 从支持文档中检索段落，然后将其与问题融合以生成答案，实现更高的准确性。此外，Borgeaud 等人 [6] 指出，答案的质量可能更多地依赖于检索编码器的输出。

5.1.2 ChatBot。ChatBot 旨在以自然和对话方式与用户互动 [81]。与 QA 系统不同，ChatBot 侧重于与用户保持连贯和上下文丰富的对话。为了增强这些能力，最近的方法专注于整合 RA-LLMs [55, 63, 179]，以增强 ChatBot 的相关外部知识，促进与用户更具吸引力和上下文丰富的互动。例如，一些研究 从静态数据库（例如维基百科转储）中检索相关知识以增强对话。Komeili 等人 [63] 提出从互联网搜索中检索信息以进一步增强对话性能。考虑到世界知识的动态性，另一个模型 [144] 进一步访问大量搜索引擎中的动态信息来生成响应。

5.1.3 事实验证。事实验证是验证信息准确性和可靠性的关键任务。在需要可信证据的情况下，RA-LLMs 被用于增强事实验证的能力 [50, 69, 69]。Lewis 等人 [69] 首次提出检索外部知识以增强一系列知识密集型任务，包括事实验证。另一方面，Atlas [50] 检查 RA-LLMs 在少样本学习下事实验证的性能。最近，Self-RAG [5] 通过整合自我反思机制产生了显著的印象。具体而言，Self-RAG 反思检索信息是否有帮助，并判断检索信息的可靠性，从而大大提高了验证准确性。

5.2 下游任务

除了 NLP 应用外，RA-LLMs 也可应用于各种下游任务，如推荐和软件工程。

5.2.1 推荐系统

推荐系统在建模用户偏好和提供个性化推荐方面发挥着重要作用 [30-32, 146, 180, 187]。最近，RA-LLMs通过整合检索和生成过程展现出在提供个性化和与上下文相关推荐方面的巨大潜力 [25, 88, 155]。例如，Di Palma [25] 提出了一个简单的检索增强推荐模型，利用电影或图书数据集中的知识来增强推荐。此外，Lu等人 [88] 进一步从评论中检索以丰富推荐系统中的项目信息。CoRAL [155] 利用强化学习从数据集中检索协作信息，并将其与语义信息对齐，以实现更准确的推荐。

5.2.2 软件工程

RA-LLMs的兴起影响了软件工程的许多方面 [99, 168, 189]。例如，一些研究提出了检索增强生成范式用于代码生成 [189] 和程序修复 [99]。类似地，Parvez等人 [102] 从代码库中检索排名靠前的代码或摘要，并将它们与输入聚合以增强代码生成和摘要。此外，RA-LLMs在表格数据处理 和文本到SQL语义解析 中显示出潜力。

5.3 领域特定应用

RA-LLMs已被广泛应用于各种领域特定任务，如科学和金融领域。

5.3.1 科学人工智能

RA-LLMs已被证明对科学领域，如分子和蛋白质，具有益处。分子领域包括识别分子属性和预测新分子，从而有利于药物发现。目前，一些RA-LLMs已通过整合分子结构和蛋白质、分子、疾病等生物医学实体的检索应用于分子 [84, 152, 153, 165]。Li等人 [72]，Wang等人 [152] 提出了通过从数据库中检索来引导分子生成的基于检索的框架。Liu等人 [84] 提出了一种多模态分子结构-文本模型，通过从大规模数据集中检索文本知识来预测分子属性。此外，RA-LLMs还显著影响蛋白质表示和生成 [91, 136]。例如，RSA [91] 查询与数据库中一组结构或功能类似的蛋白质序列以增强蛋白质表示。此外，Lozano等人 [86] 提出了一个基于检索已发表的评论文章的临床问答系统。

5.3.2 金融

在高度数据驱动和信息密集的金融领域，RA-LLMs已被证明是增强决策制定的重要技术 。例如，Zhang等人 [178] 从外部来源（如新闻平台，如彭博社和路透社，以及社交媒体平台，如Twitter、Reddit）检索金融信息，与原始查询结合以增强金融情绪分析的准确性。此外，金融问答是金融分析的另一个主要任务，通常从金融文件中提取相关知识。由于专业文件通常以PDF格式存储，Lin [79] 引入了一个结合RA-LLMs的PDF解析器，用于从财务报告中检索知识。另外，Yepes等人 [169] 提出了一种基于结构而不是基于段落进行文档分块的方法，进一步提高了RA-LLMs输出的质量。

6 未来挑战与机遇

由于RA-LLMs的研究仍处于早期阶段，我们提出了一些未来可以在RA-LLMs领域探索的潜在研究方向。 可信的RA-LLMs。开发基于RAG的LLMs的主要目标是增强语言模型的能力，从而通过减少冗余和无意义的劳动、增加便利性以及推动社会进步，使用户和社会受益。然而，最近的研究表明，RA-LLMs可能会被恶意和无意中操纵，做出不可靠的决策并伤害人类，这可能在安全关键场景中产生严重后果。此外，私人检索数据库存在泄露风险，引发对RA-LLMs隐私的担忧[177]。因此，开发可信赖的RA-LLMs至关重要，因为它可以显著减轻LLMs技术潜在负面影响，并为人们提供可以完全信任的强大AI模型。具体而言，RA-LLMs系统中的理想可信度应具备以下特征：1）鲁棒性，2）公平性，3）可解释性，和4）隐私性。例如，鲁棒性意味着可信赖的RA-LLMs系统应对攻击者引入的恶意或无意扰动具有鲁棒性。公平性表示可信赖的RA-LLMs系统在决策过程中应避免歧视。可解释性要求完全理解RA-LLMs系统的内在工作方式，即RA-LLMs系统的预测是可解释和透明的。隐私性意味着在建立可信赖的RA-LLMs系统时，要保护数据存储中包含的私人信息的安全。

多语言RA-LLMs。利用多种语言知识可以极大增强检索增强语言模型的能力。随着世界日益互联互通，对能够理解和跨越不同语言进行交流的AI系统的需求日益增长。通过整合多语言知识检索和生成，这些模型可以访问和综合来自不同语言来源的信息，实现更全面和细致的理解和生成能力。此外，多语言模型可以促进跨文化交流和知识共享，打破语言障碍，从而为世界各地的人们，特别是那些使用少数语言的地区的人们带来便利[53, 75]。例如，来自使用较少普及语言国家的用户可以利用丰富的英语和中文语料库进行知识检索，提高大型语言模型在下游任务中的性能。多模态RA-LLMs。多模态检索增强生成将知识源扩展到文本之外的各种数据模态，如图像、视频和音频。通过整合各种模态，LLMs可以利用比单一模态RAG更丰富的上下文信息，并对用户需求进行更全面的理解，带来精确、细致和高质量的生成。例如，图像或视频可以提供有价值的视觉线索，与文本信息相辅相成，从而实现更精确的语言生成。通过融合多种模态，多模态RA-LLMs可以更全面地理解世界，产生更准确和有洞察力的输出，造福包括医疗保健[191]、药物发现[129]、分子分析等在内的广泛领域。

外部知识的质量。作为当前RAG系统中常用的数据存储，维基百科作为一个包含涵盖各种学科的数百万篇文章的庞大外部文本知识库，用于增强生成过程。然而，维基百科中个别文章的可靠性和准确性存在显著差异，一些偏离事实的文本甚至可能误导模型的生成过程。因此，增强外部知识语料库的质量，并通过过滤低质量或不可靠信息来制定健壮机制，对LLMs的性能产生负面影响至关重要。通过提高外部知识的质量，并通过过滤低质量或不可靠信息来制定健壮机制，RAG增强的LLMs系统可能会产生更准确、可靠的输出，从而提高它们在各种实际应用中的有效性。

检索增强生成（RAG）是一种尖端人工智能技术，在推荐、分子生成、蛋白质表示和软件工程等各种应用中取得了显著成功，这归功于检索在提供补充信息以增强生成性能方面的强大能力。最近，人们不断努力缓解大型语言模型（LLMs）的局限性，比如幻觉和过时的内部知识，通过利用检索提供最新的辅助信息，并教导LLMs利用检索到的外部知识。随着检索增强型大型语言模型（RALLMs）的快速发展，迫切需要进行全面系统的概述。为了弥合这一差距，在本文中，我们从架构、训练策略和应用的角度全面审查了RA-LLMs，为研究人员提供深入理解。此外，由于RA-LLMs的研究仍处于早期阶段，我们还讨论了目前的局限性和未来研究的几个潜在研究方向。