📖标题：Optimizing Retrieval for RAG via Reinforced Contrastive Learning
🌐来源：arXiv, 2510.24652

🌟摘要

随着检索增强生成 (RAG) 变得越来越普遍，信息检索 (IR) 的作用是从检索人类用户的信息到检索人工智能 (AI) 系统的上下文知识的转变，其中相关性变得难以事先定义或注释。为了应对这一挑战，我们提出了 R3，这是一个通过反复试验反馈强化对比学习为 RAG 优化的检索框架。与之前依赖带注释的或合成数据进行监督微调的方法不同，R3 使检索器能够在 RAG 环境中动态探索和优化相关性。在训练期间，检索结果与环境交互以产生自动指导检索器自我改进的对比信号。跨不同任务的大量实验表明，R3 比原始检索器提高了 5.2% 的 RAG 性能，并超过了最先进的检索器 4.9%，同时在训练后或指令调整的 LLM 上实现了与 LLM 增强检索和 RAG 系统相当的结果。它既高效又实用，只需要 4 个 GPU 并在一天内完成训练。

🛎️文章简介

🔸研究问题：如何优化检索以提高检索增强生成（RAG）系统的性能？
🔸主要贡献：论文提出了一种名为R3的检索框架，通过强化对比学习（RCL）优化RAG环境中的检索过程，显著提升了检索性能。

📝重点思路

🔸R3框架利用强化学习探索RAG环境中检索的相关性，而不是依赖预定义的相关性标签。
🔸该框架的训练流程分为三个步骤：在线策略检索、基于检索文档的近似生成及强化对比学习，以优化检索器。
🔸通过在训练过程中动态构建对比信号，增强了检索器在特定RAG环境下的适应性和性能。

🔎分析总结

🔸实验结果显示，R3在多个基准测试中取得了平均5.2%的1-shot准确率提升，显著优于基于传统最先进检索器的RAG框架。
🔸发现更好的信息检索性能并不总是能提高RAG性能，尤其是在任务转变时，强调了R3在特定环境中的重要性。
🔸虽然绝大多数所需知识已存储在数据集中，每个检索器仅对一部分查询有效，说明在RAG系统中优化检索仍有潜力。

💡个人观点

论文引入了强化对比学习作为RAG优化检索的核心训练范式，使得在动态环境中能够自我调节并提升检索效果。

🧩附录