核心发现
方法论
本文提出的RiVER（Ranking-induced VERifiable）框架，基于无Ground-Truth的可执行优化任务，通过实例级排名和获胜者强化奖励，解决连续奖励尺度不一致和频率偏差问题。具体而言，模型在每个隐藏实例中对候选解进行排名，利用相对奖励进行策略优化，避免了传统基于答案匹配的稀疏奖励限制。该方法结合了基于群组的相对优势估计（如GRPO算法），实现了在没有明确最优解的情况下，利用可验证的目标函数进行高效训练。训练过程中，模型在12个AtCoder竞赛任务上进行优化，并在ALE-Bench、LiveCodeBench和USACO等基准上进行评估。结果显示，RiVER显著优于多种奖励设计变体，在ALE评级排名中提升了8.9%和9.4%，同时在精确解任务中也实现了2.4%和3.5%的绝对提升。该方法的核心在于奖励的校准机制，通过实例内排名和获胜者偏重的奖励塑造，有效缓解了尺度偏差和频率偏差问题，促进模型在复杂优化任务中的泛化能力。
关键结果
- 在12个AtCoder竞赛任务中，RiVER训练的Qwen3-8B模型在ALE评级中提升了8.9%，GLM-Z1-9B-0414模型提升了9.4%，显示出在无Ground-Truth环境下的训练效果优越。
- 在传统的精确解任务中，RiVER模型在LiveCodeBench和USACO上分别实现了2.4%和3.5%的绝对性能提升，优于直接用原始执行分数训练的基线模型。
- 通过消除尺度偏差和频率偏差，RiVER在多样性和鲁棒性方面表现出更强的能力，验证了相对排名和获胜者偏重奖励的有效性。
研究意义
本研究突破了传统强化学习奖励依赖于Ground-Truth的限制，提出无需答案匹配的训练范式，为复杂优化和推理任务提供了新思路。其在算法设计、自动规划等领域具有广泛应用潜力，有助于提升大规模语言模型的泛化能力和解决多样化问题的能力，推动AI在无监督和弱监督环境中的发展。
技术贡献
技术上，本文创新性地引入实例级排名与获胜者偏重的奖励塑造机制，有效缓解了连续奖励尺度不一致和频繁采样非最优解的偏差问题。结合群组相对优势估计（GRPO），实现了无Ground-Truth的高效策略优化。该方法在无需标注最优解的情况下，利用可验证的目标函数作为监督信号，显著提升了模型在算法竞赛和推理任务中的表现。
新颖性
这是首次在无Ground-Truth环境下，将实例级排名和获胜者偏重奖励结合应用于强化学习，特别是在复杂优化任务中实现有效训练。相较于传统基于答案匹配的奖励设计，RiVER通过奖励校准和相对优势估计，提供了更细粒度、更稳健的学习信号，极大拓展了强化学习的应用边界。
局限性
- 该方法依赖于可验证的目标函数和高质量的环境反馈，对于某些任务的目标函数设计仍具有挑战性。
- 在极端不平衡或噪声较多的环境中，排名和奖励塑造可能受到干扰，影响训练稳定性。
- 模型在大规模复杂任务中的训练成本较高，未来需要优化效率和泛化能力。
未来方向
未来可探索多模态、多任务环境下的奖励校准策略，结合自监督和迁移学习，提升模型在更广泛任务中的适应性。此外，结合更复杂的奖励塑造机制和多层次排名策略，有望进一步增强模型的泛化能力和鲁棒性。
AI 总览摘要
在人工智能的发展历程中，强化学习（RL）一直是提升模型推理和决策能力的重要工具。然而，传统的RL方法严重依赖于Ground-Truth答案作为奖励信号，这在许多复杂任务中成为瓶颈，尤其是那些没有明确最优解或答案的开放式优化问题。本文提出的RiVER（Ranking-induced VERifiable）框架，突破了这一限制，开创了无Ground-Truth的强化学习新范式。
RiVER的核心思想是利用可验证的目标函数作为奖励，通过实例级排名和获胜者偏重的奖励塑造机制，将连续的目标分数转化为稳健的学习信号。在每个隐藏实例中，模型生成多个候选解，环境对这些解进行执行和评估，得到一组相对的目标分数。通过对每个实例内的候选解进行排名，消除了不同实例之间尺度差异的影响，确保奖励的尺度一致性。同时，RiVER强调最优解的奖励，将最好的候选解赋予更高的奖励，减少频繁采样次优解带来的偏差。
在实验中，作者在12个AtCoder竞赛任务上训练模型，结果显示RiVER显著优于多种奖励变体，提升了ALE评级中的表现8.9%和9.4%。更重要的是，即使在没有Ground-Truth答案的情况下，RiVER也在传统的精确解任务中实现了2.4%和3.5%的性能提升，验证了其良好的迁移能力。这一突破为大规模语言模型在复杂推理和优化任务中的应用提供了新的可能。
总体而言，RiVER不仅扩展了强化学习的应用边界，也为无监督和弱监督学习提供了新的思路。未来，结合多模态、多任务环境和更复杂的奖励机制，有望推动AI在更广泛的实际场景中实现更强的自主学习和推理能力。
深度分析
研究背景
近年来，强化学习（RL）在提升大规模语言模型（LLMs）推理和生成能力方面取得了显著进展。尤其是在答案匹配和奖励模型（如RLHF）基础上，模型在数学推理、编码和规划任务中表现优异。然而，这些方法高度依赖于Ground-Truth答案或明确的奖励信号，限制了其在没有明确最优解或多样化解决方案的复杂任务中的应用。传统的奖励设计多为二元或稀疏奖励，难以捕捉解的细粒度差异，导致训练效果受限。近年来，研究者开始探索基于目标函数的连续奖励、相对排名和多样性促进机制，试图缓解奖励稀疏和偏差问题。尽管如此，如何在没有Ground-Truth的情况下，利用可验证的目标函数进行高效训练，仍是学术界的热点难题。
核心问题
核心问题在于，许多复杂任务缺乏明确的最优解或Ground-Truth答案，传统的强化学习奖励机制难以应用。直接使用连续目标分数作为奖励，存在尺度不一致和频繁采样次优解的偏差问题。尺度偏差导致不同实例的分数范围差异影响策略更新，使模型偏向于分数较大的任务；频率偏差则使模型过度强化常见的次优策略，抑制了探索潜在更优解的能力。这些问题限制了模型在多样化优化任务中的泛化和迁移能力，亟需一种新的奖励机制来解决这一瓶颈。
核心创新
本文的创新点主要体现在两个方面：第一，提出实例级排名机制，将每个隐藏实例中的候选解按相对目标分数排序，避免尺度偏差影响，确保奖励的尺度一致性。第二，引入获胜者偏重的奖励塑造策略，将每个实例中的最佳候选解赋予更高奖励，同时对非最优但有效的解给予有限的正向反馈，从而减少频繁采样次优解带来的偏差。这两个机制结合，极大改善了连续奖励在策略优化中的稳定性和有效性。
方法详解
- �� 训练任务由问题描述、确定性评估器和隐藏测试实例组成，模型生成响应后提取可执行程序。
- �� 执行程序在每个实例上得到有效性和目标分数，形成原始分数矩阵。
- �� 对每个实例内的候选解进行排名，消除尺度偏差，得到实例内的相对排名。
- �� 利用排名信息，设计获胜者偏重的奖励函数：最优候选获得最高奖励，次优候选获得有限正向奖励，无效解获得负奖励。
- �� 将每个实例的奖励进行平均，作为策略梯度的优势信号，结合GRPO算法进行策略更新。
- �� 训练过程中，模型不断优化，提升在无Ground-Truth环境下的解题能力。
实验设计
实验采用12个AtCoder竞赛任务作为训练集，环境提供目标函数和可验证的目标值，无需Ground-Truth答案。模型在训练后在ALE-Bench、LiveCodeBench和USACO等多个基准上进行评估。对比基线包括原始分数训练、二元奖励和归一化奖励等变体。主要指标为ALE评级、Pass@1准确率和精确解的成功率。超参数包括候选解数G、奖励塑造函数参数等。通过消融实验验证实例排名和获胜者偏重奖励的贡献。
结果分析
结果显示，RiVER在ALE评级中分别提升8.9%和9.4%，在Score-based和Exact-solution任务中均优于其他奖励设计。模型在USACO和LiveCodeBench中的平均Pass@1提升了3.5%，在复杂优化任务中表现出更强的泛化能力。消融分析表明，实例排名和获胜者偏重奖励的结合，是性能提升的关键因素。
应用场景
该方法适用于需要优化目标函数但缺乏明确答案的场景，如自动代码生成、复杂调度、路径规划等。只需定义可验证的目标函数，无需标注最优解，即可实现模型自主学习。未来，结合多任务、多模态信息，可扩展到更复杂的工业自动化、智能决策等领域，推动AI自主优化能力的提升。
局限与展望
当前方法依赖于高质量的可验证目标函数，某些任务难以定义或验证目标，限制了应用范围。此外，训练成本较高，尤其在大规模模型和复杂任务中，计算资源消耗大。奖励塑造机制在极端噪声环境下可能表现不佳，未来需结合鲁棒性增强技术。
通俗解读 非专业人士也能看懂
想象你在参加一个比赛，比赛的目标是找到最短的路线，但没有人告诉你正确的路线，也没有标准答案。你可以尝试不同的方法，比如绕路、直走、或者走一些你觉得可能更短的路线。每次你走完后，系统会告诉你这条路线的长度，但不会告诉你最短的路线到底是多少。你可以根据这些长度信息，自己判断哪些路线更好，然后不断改进。这个过程就像在用一种特殊的“评分”机制，帮助你逐步找到更优的路线，而不需要知道真正的最短路线。这种方法可以让你在没有标准答案的情况下，通过不断比较和优化，找到接近最优的解决方案。
简单解释 像给14岁少年讲一样
你知道在玩游戏或者做作业时，有时候没有一个明确的“正确答案”，但你可以根据一些提示或得分，慢慢找到更好的方法。比如，你在拼积木，没有标准答案，但每次拼完后，老师会告诉你这个拼法的好坏，比如稳不稳、漂亮不漂亮。你可以试着拼不同的样子，然后看看哪个更稳、更漂亮。这个过程就像在用一种特别的评分系统，它帮你比较不同的拼法，告诉你哪个更好。你不用知道最完美的拼法，只要不断试、比较、改进，就能拼出很棒的作品。这就是没有标准答案的“学习”方式，用评分和比较来不断变得更厉害！
术语表
Reinforcement Learning（强化学习）
一种让模型通过试错学习的方法，模型根据奖励信号调整行为策略。技术上，模型通过最大化累积奖励实现目标。
本文中用于训练模型以优化解的质量。
Ground-Truth（真实答案）
在任务中已知的标准答案或最优解，用于指导模型学习。技术上，作为奖励或评价的参考。
传统RL依赖Ground-Truth进行奖励设计。
Reward Shaping（奖励塑造）
通过调整奖励信号的结构，使学习过程更稳定或更有效。可以引入偏重、归一化等机制。
本文中采用获胜者偏重的奖励塑造。
Instance-wise Ranking（实例内排名）
在每个测试实例中对候选解进行排序，消除不同实例尺度差异，确保相对比较的公平性。
核心机制之一，避免尺度偏差影响。
Group Relative Policy Optimization（GRPO）
一种基于候选解相对优势的策略优化算法，避免对价值模型的依赖，适合无Ground-Truth环境。
本文采用其作为策略优化基础。
NP-hard（NP-难）
一类计算复杂度极高的问题，通常无法在多项式时间内求解最优解。
许多优化任务属于NP-难类别。
Objective Function（目标函数）
衡量解优劣的数学表达式，用于指导优化过程。
在无Ground-Truth环境中，作为可验证的奖励依据。
Verifiable Rewards（可验证奖励）
通过环境的执行和验证机制，确认解的质量，无需答案匹配。
本文的核心创新之一。
开放问题 这项研究留下的未解疑问
- 1 如何设计更复杂的奖励塑造机制，以适应多样化的任务目标，仍是未解决的问题。
- 2 在极端噪声或不稳定环境中，排名和奖励的鲁棒性如何保证，仍需深入研究。
- 3 模型在大规模复杂任务中的训练效率和成本优化，是未来的重要方向。
- 4 如何结合多模态信息（如图像、文本）进行跨模态优化，仍是开放问题。
- 5 在实际工业应用中，如何将RiVER与现有系统集成，提升整体效率和效果，仍待探索。
应用场景
近期应用
自动代码生成
利用RiVER训练模型在没有明确答案的情况下，生成高质量代码，适用于自动化编程辅助。
路径规划与调度
在复杂调度问题中，通过目标函数验证方案优劣，无需最优解，提升工业自动化效率。
优化设计与仿真
在工程设计中，通过目标函数评估方案优劣，实现无标注的自主优化。
远期愿景
自主优化系统
未来AI能自主在复杂环境中进行连续优化，减少对人工标注的依赖，推动智能自动化。
跨任务泛化能力
模型在多任务、多场景中实现无缝迁移，提升AI的通用推理和优化能力。
原文摘要
Reinforcement learning with verifiable rewards (RLVR) for training LLMs typically rely on ground-truth answers to assign rewards, limiting their applicability to tasks where the ground-truth solution is unknown. We introduce a \textbf{R}anking-\textbf{i}nduced \textbf{VER}ifiable framework (RiVER) that trains LLMs on score-based optimization tasks without ground-truth solutions, using deterministic execution feedback as continuous-valued supervision. When applying group-relative RL to such continuous rewards, we identify two key challenges: \emph{scale dominance}, where uncalibrated score magnitudes across test instances distort policy updates, and \emph{frequency dominance}, where repeatedly sampled suboptimal solutions can outweigh rare but stronger candidates. RiVER addresses these challenges with calibrated reward shaping that uses instance-wise comparisons and emphasizes top-ranked solvers while retaining bounded feedback for other valid solutions. We train on 12 AtCoder Heuristic Contest tasks and evaluate on Algorithm Engineering Benchmark (ALE-Bench), LiveCodeBench, and USACO. RiVER advances Qwen3-8B and GLM-Z1-9B-0414 by 8.9\% and 9.4\% in ALE rating rank. More importantly, despite training exclusively on score-based tasks without any ground-truth solutions, RiVER also improves the backbones across exact-solution benchmarks such as LiveCodeBench and USACO by an absolute average improvement of 2.4\% and 3.5\%. By contrast, baselines trained with raw execution scores improve ALE rating but fail to transfer to exact-solution benchmarks. These results suggest that score-based optimization tasks, combined with proper reward calibration, can serve as effective training environments for general coding ability without ground-truth solutions.
参考文献 (20)
DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models
Zhihong Shao, Peiyi Wang, Qihao Zhu 等
Attention Illuminates LLM Reasoning: The Preplan-and-Anchor Rhythm Enables Fine-Grained Policy Optimization
Yang Li, Zhichen Dong, Yuhan Sun 等
Entropy-Regularized Process Reward Model
Hanning Zhang, Pengcheng Wang, Shizhe Diao 等
LLM Post-Training: A Deep Dive into Reasoning Large Language Models
Komal Kumar, Tajamul Ashraf, Omkar Thawakar 等
HeurAgenix: Leveraging LLMs for Solving Complex Combinatorial Optimization Challenges
Xianliang Yang, Ling Zhang, Haolong Qian 等
Proximal Policy Optimization Algorithms
John Schulman, Filip Wolski, Prafulla Dhariwal 等
R-PRM: Reasoning-Driven Process Reward Modeling
Shuaijie She, Junxiao Liu, Yifeng Liu 等
DAPO: An Open-Source LLM Reinforcement Learning System at Scale
Qiying Yu, Zheng Zhang, Ruofei Zhu 等
Can Language Models Solve Olympiad Programming?
Quan Shi, M. Tang, Karthik Narasimhan 等
ReEvo: Large Language Models as Hyper-Heuristics with Reflective Evolution
Haoran Ye, Jiarui Wang, Zhiguang Cao 等
LiveCodeBench: Holistic and Contamination Free Evaluation of Large Language Models for Code
Naman Jain, King Han, Alex Gu 等
STeCa: Step-level Trajectory Calibration for LLM Agent Learning
Hanlin Wang, Jian Wang, Chak Tou Leong 等
NPHardEval: Dynamic Benchmark on Reasoning Ability of Large Language Models via Complexity Classes
Lizhou Fan, Wenyue Hua, Lingyao Li 等
WebDancer: Towards Autonomous Information Seeking Agency
Jialong Wu, Baixuan Li, Runnan Fang 等
Large Language Models as End-to-end Combinatorial Optimization Solvers
Xia Jiang, Yaoxin Wu, Minshuo Li 等
On the Interplay of Pre-Training, Mid-Training, and RL on Reasoning Language Models
Charlie Zhang, Graham Neubig, Xiang Yue
Group-in-Group Policy Optimization for LLM Agent Training
Lang Feng, Zhenghai Xue, Tingcong Liu 等
NP-Engine: Empowering Optimization Reasoning in Large Language Models with Verifiable Synthetic NP Problems
Xiaozhe Li, Xinyu Fang, Shengyuan Ding 等