论文地址：https://arxiv.org/pdf/2502.17888

代码地址：https://github.com/NEUIR/RankCo

动机

  1. RAG系统缺陷
  • 因噪声检索到不相关信息，进而误导
  1. 当前方案及缺陷
  • 检索结果重排：独立模块，会保留噪声；需要经验性阈值
  • 检索结果总结：独立模块，容易忽略与query相关性，导致误导（客观有用的知识，但与问题无关）、细节丢失
  • CoT：通过更细致的思考试图让llm正确利用召回文档，本质上只是推理优化手段，依赖于llm本身能力

解决

  1. 提出rankCoT：
  • 基于相关文档上下文，要求llm对每个文档生成CoT输出
  • CoT结果集合中，包含真实答案的为正样本，否则为负样本
  • 使用DPO算法训练llm，使其为正样本分配更搞生成概率。相当于学习排序（pointwise的排序任务）
  1. 反思再提炼
    为了避免DOP训练过程拟合不必要的表述pattern，会基于原始CoT输出再生成一个CoT输出，消除固定模式、增加多样性

效果

在这里插入图片描述

启发

  1. 开放式任务，使用RL调整llm已是基操，比SFT更安全有效？
  2. 基于llm输出再构造训练任务，并注意调整数据多样性、消除不必要的模式
  3. 多agent系统，可以考虑专门训练llm对其他agent/tools的协作能力，甚至将它们的功能吸收到llm中
# 语言模型 # 人工智能 # 自然语言处理
Logo
火山引擎开发者社区

火山引擎开发者社区是火山引擎打造的AI技术生态平台，聚焦Agent与大模型开发，提供豆包系列模型（图像/视频/视觉）、智能分析与会话工具，并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长，新用户可领50万Tokens权益，助力构建智能应用。

更多推荐

OBS Studio音频分离：人声与背景音乐分离全攻略

你是否曾在直播或录屏时遇到这样的困境：想要单独调整人声音量却影响了背景音乐，或是后期剪辑时无法消除环境噪音？OBS Studio（Open Broadcaster Software Studio，开放广播软件工作室）作为免费开源的音视频录制与直播工具，提供了强大的音频处理框架，通过合理配置滤镜链与外部工具组合，可实现专业级别的人声与背景音乐分离。本文将系统讲解3种分离方案，从基础声道分离到AI驱动

avatar 火山引擎开发者社区

lmstudio-python：简化LLM操作的强大Python SDK

lmstudio-python 是一款功能强大的 Python SDK，旨在帮助开发者轻松地使用大型语言模型（LLM）进行文本生成、对话系统搭建以及其他相关应用。通过简单易用的API，lmstudio-python 能够让用户快速集成 LLM 功能，无论是进行基础文本补全还是复杂的对话系统设计。## 项目技术分析lmstudio-python SDK 以 Python 为基础，提供了一个同

avatar 火山引擎开发者社区

OBS Studio AI增强：智能场景识别与自动优化全攻略

你是否曾在直播切换场景时手忙脚乱？是否因复杂的参数配置而错失最佳直播时机？OBS Studio作为开源直播软件的佼佼者，虽提供强大的自定义功能，但传统手动操作已难以满足专业创作者对效率和质量的双重需求。本文将系统介绍如何通过AI技术增强OBS Studio的核心能力，重点实现智能场景识别与自动参数优化，让你的直播制作流程效率提升300%。读完本文你将获得：- 基于OpenCV的实时场景分析插

avatar 火山引擎开发者社区