检索增强微调 (RAFT)
简而言之使用RAFT，当提出一个问题和一批检索到的文档时，该框架指示模型忽略那些不有助于回答问题的文档。这些被忽略的文档被称为干扰文档。
在最近的研究中，已经有一些努力来减少在推理时引入的噪声。这就是指检索到的信息与当前上下文无关。
此外，优化注入上下文的大小在令牌使用成本、超时和负载开销方面也很重要。
RAFT还结合了链式思维方法，这引导我进入下一个话题。RAG实现开始超越仅仅上下文注入，并开始结合提示方法。
训练数据的格式得到了广泛的关注，每个数据点包含一个问题（Q），一组文档（Dk）以及相应的链式思维风格的答案。
特定领域的实现当涉及到将LLMs适应特定领域时，有两个候选方案：
1、通过RAG利用上下文学习
2、有监督的微调
RAG允许模型在回答问题时参考文档，但它错过了从固定领域设置中学习和提前访问测试文档的机会。
另一方面，有监督的微调允许从文档中学习更广泛的模式，更好地与终端任务和用户偏好对齐。
然而，当前的微调方法要么在测试期间不利用文档，要么忽略了训练期间检索中的不完美之处。
因此，RAFT努力将微调与RAG结合起来。通过RAFT，在有监督的情况下，可以为微调收集最佳结果。
以数据为中心RAFT专注于准备数据...
在RAFT中，训练数据的准备工作是以这样的方式执行的：每个数据点包含一个问题（Q），一组文档（Dk）以及相应的链式思维风格的答案。
本文研究了以下问题 - 如何将预训练的LLMs适应特定领域的检索增强生成（RAG）？
考虑到上面的图像，微调方法可以比作是通过记忆输入文档或者在不参考材料的情况下练习问题来为考试学习。
另一方面，上下文检索方法错过了从固定领域中学习的机会，类似于在没有任何预先学习的情况下参加开卷考试。
RAFT通过在模拟的不完美检索场景中参考文档，结合了带有问题-答案对的微调。这种方法有效地为模型准备了开卷考试。
参考上图，RAFT方法是一种适应LLMs的方法，用于从正面和负面文档集合中阅读解决方案。
这与标准的RAG设置形成对比，在标准的RAG设置中，模型是使用检索器输出进行训练的，包括记忆和阅读。
结论 研究发现，与通用LLM对手相比，较小的微调模型能够在特定领域的问答任务中表现得同样好。
关注公众号，了解更多大模型知识。