The Red Queen Gödel Machine: Co-Evolving Agents and Their Evaluators
提出Red Queen Gödel Machine（RQGM），通过共进化学习评估器实现非静态目标优化，在代码、论文、证明等任务中提升性能，节省1.35-1.86倍搜索成本。
核心发现
方法论
本文提出的RQGM框架基于递归自我改进思想，将评估器作为学习的对象，与任务智能体共同演化。核心机制包括：• 将搜索划分为多个epoch，每个epoch内评估指标固定；• 在epoch边界进行评估器替换，确保每个epoch内的自我改进保证；• 通过学习的评估器提供任务评价信号，替代传统静态基准；• 利用贝叶斯方法（如Beta分布）进行评估器的选择和替换；• 引入对抗目标以调节评估器的严格程度，避免过度乐观或偏差。实验中，模型在代码验证、论文写作与评审、数学证明等多领域展现出优越性能，显著优于传统方法。
关键结果
- 在Polyglot编码任务中，RQGM通过引入代理评审（agent-as-a-judge）信号，将测试通过率从69.9%提升至71.7%，节省搜索代币数1.35-1.72倍，验证了评估器共进化的效率提升。
- 在科学论文写作与评审中，合作演化的写作代理将论文接受率从21.8%提升至40.5%，而评审器的准确率提高了9%，在避免AI论文被过度接受方面表现出色。
- 在奥林匹克证明任务中，合作演化的评分器达到了比静态基准高出9%的真值准确率，且模型能在多轮演化中逐步调节评估标准，增强了系统的适应性和鲁棒性。
研究意义
该研究突破了传统自我改进系统对静态评估指标的依赖，提出将评估作为演化对象，使系统能在动态环境中持续优化。此方法不仅提升了多任务、多领域的性能，还为未来自主AI系统的长远发展提供了理论基础。通过引入学习的评估器，解决了静态基准难以适应复杂、多变任务的瓶颈，有望推动AI在科学研究、自动编程、学术评审等领域实现更高水平的自主创新。
技术贡献
技术上，RQGM引入了控制的非静态目标演化机制，利用贝叶斯后验（如贝塔分布）进行评估器替换，确保每个epoch内的自我改进保证。同时，提出多智能体架构，支持多角色、多任务的共进化，结合贝叶斯采样和对抗训练，增强系统的适应性和鲁棒性。理论上，本文扩展了HGM的收敛保证到多epoch、多目标环境，为递归自我改进提供了新的数学基础。
新颖性
这是首个将评估器作为演化对象，结合贝叶斯方法和对抗目标实现非静态目标优化的系统。不同于以往依赖静态基准的自我改进方法，RQGM实现了评估器的动态演化，突破了reward hacking和基准依赖的限制，为开放式、多任务、自适应AI系统奠定了基础。
局限性
- 当前系统在多轮演化中仍依赖于预定义的epoch边界，可能影响连续性优化的效果，未来需研究更细粒度的动态调节机制。
- 模型在高复杂度任务中的泛化能力尚未充分验证，尤其是在极端环境或长时间演化中可能出现性能下降。
- 训练和演化过程计算成本较高，尤其在多角色、多任务场景下，需优化算法效率以实现大规模应用。
未来方向
未来将探索更细粒度的动态调节机制，提升连续演化的效率和稳定性。同时，计划将RQGM扩展到更复杂的开放式任务环境，如自动科学发现和自主设计，结合强化学习和元学习技术，进一步增强系统的自主适应能力。此外，将引入多模态评估机制，丰富评估信号的多样性和鲁棒性，推动系统向更高层次的自主智能迈进。
AI 总览摘要
在人工智能领域，自我改进系统一直是追求自主性和适应性的核心目标。传统方法依赖于固定的评估指标和静态基准，限制了系统在复杂、多变环境中的持续优化能力。本文提出的Red Queen Gödel Machine（RQGM）突破了这一限制，通过引入共进化学习的评估器，将目标演化融入到自我改进的核心机制中。
RQGM的核心思想是：在每个预定义的epoch内，评估器保持不变，确保系统在该阶段内的性能保证；而在epoch边界，通过贝叶斯统计（如Beta分布）评估评估器的优劣，并在满足一定信心水平时进行替换。这种机制允许目标在不同阶段动态演变，适应不同任务和环境的需求。
具体实现上，RQGM采用多智能体架构，将任务智能体和评估器作为共享的角色池，共同演化。每个角色池内的评估器通过学习不断提升，既能提供任务性能的评价，也能调节系统的目标导向。为了避免过度拟合和奖励作弊，系统引入对抗目标，确保评估器对AI和人类作品保持一致的严格标准。
在多领域实验中，RQGM在代码验证、科学论文写作与评审、数学证明等任务中表现出色。在Polyglot编码任务中，系统通过引入代理评审，将测试通过率从69.9%提升至71.7%，节省了1.35-1.72倍的搜索代币。在论文写作和评审中，合作演化的写作代理将论文接受率从21.8%提升至40.5%，而评审器的准确率也提高了9%。在数学证明任务中，评分器的真值准确率提升了9%，显示出系统在复杂推理中的潜力。
这项工作不仅展示了评估器共进化的强大潜力，也为未来自主AI系统的设计提供了新的思路。通过动态调整目标和评估标准，系统可以在不依赖静态基准的情况下，持续优化自身能力，适应多变的任务环境。虽然目前仍存在计算成本较高和多轮演化稳定性的问题，但未来的研究将朝着更细粒度的调节机制和多模态评估方向发展，推动自主智能迈向更高水平。
深度分析
研究背景
近年来，人工智能系统的自我改进能力成为研究热点。早期代表性工作包括Wang等提出的HyperAgents和HGM（Huxley-Gödel Machine），它们通过自我修改代码实现性能提升，但都依赖于静态的评估指标，容易受到奖励作弊和基准偏差的影响。Darwin-Gödel Machine（DGM）引入归档搜索机制，强化了自我改进的实用性。随着大规模预训练模型的发展，LLMs作为评估器逐渐成为焦点，但大多系统仍依赖固定的基准，限制了其在开放环境中的适应性。近年来，学者开始探索多智能体共进化和对抗训练，以增强系统的鲁棒性和适应性，但仍未实现评估器与任务的同步演化。本文在此基础上，提出了将评估器作为演化对象的思想，结合贝叶斯统计和对抗目标，构建了动态目标的递归自我改进框架，为AI系统的自主性和适应性提供了新路径。
核心问题
现有自我改进系统普遍依赖静态评估指标，难以应对动态环境和多变任务，导致性能瓶颈和奖励作弊问题。在缺乏持续反馈的情况下，系统难以实现长远的自主优化。此外，静态基准难以覆盖复杂任务中的多维评价标准，限制了系统的泛化能力。如何在保证自我改进理论保证的同时，引入动态、学习的评估机制，成为亟待解决的核心难题。本文旨在突破这一瓶颈，通过将评估器作为演化对象，实现目标的动态演变，增强系统的适应性和鲁棒性。
核心创新
本研究的创新点主要包括：1）引入控制的非静态目标演化机制，将评估器作为学习对象，支持目标在不同epoch间动态变化；2）利用贝叶斯后验（如Beta分布）进行评估器替换，确保每次替换都具有统计学意义，保证系统的收敛性；3）采用多智能体架构，支持多角色、多任务的共演化，增强系统的适应能力；4）引入对抗目标调节评估器的严格程度，避免奖励作弊和偏差。这些创新突破了传统静态基准的限制，为开放式、多任务、自适应AI系统提供了理论基础和工程方案。
方法详解
- �� 构建多角色多智能体架构，每个节点由任务智能体和评估器组成，共享角色池；
- �� 将搜索划分为多个epoch，每个epoch内评估器固定，确保性能保证；
- �� 在epoch边界，通过贝叶斯统计（Beta分布）评估评估器的优劣，满足信心水平后进行替换；
- �� 采用贝叶斯采样（如Beta后验）选择最优评估器，确保替换的统计学可靠性；
- �� 引入对抗目标，调节评估器的严格程度，避免过度乐观或偏差；
- �� 通过贝叶斯后验的下界（如贝塔分布的α-分位数）作为评估器替换的依据；
- �� 利用贝叶斯后验的逐步更新，支持多轮演化和目标调整；
- �� 采用指数间隔的checkpoint机制，控制评估器替换和记录 erasure 的成本；
- �� 在每个epoch内，利用固定的评估器进行任务优化，保证自我改进的理论保证；
- �� 通过ground-truth anchor进行评估器替换，确保替换的有效性和稳定性。
实验设计
实验设计涵盖三个主要领域：编码、论文写作与评审、数学证明。编码任务采用Polyglot测试集，比较RQGM与HGM（HyperAgents的HGM版本）在搜索代币数和测试通过率上的差异，验证共进化评估器的效率提升。论文写作与评审使用APReS数据集，评估论文接受率和评审准确率，验证合作演化的效果。数学证明任务以IMO-GradingBench为基准，比较评分器的真值准确率，验证系统在复杂推理中的表现。每个任务中，采用静态基准和动态评估相结合的对比，设置不同的epoch边界和贝叶斯替换阈值，进行ablation研究。超参数包括：贝叶斯后验α值、epoch长度、对抗目标权重等，确保系统在多场景中的鲁棒性和泛化能力。
结果分析
在Polyglot编码任务中，RQGM实现了测试通过率从69.9%提升至71.7%，节省搜索代币1.35-1.72倍。论文写作中，合作演化的写作代理将论文接受率从21.8%提升至40.5%，评审准确率提升9%。数学证明中，合作评分器的真值准确率比静态基准高出9%，显示出在复杂推理任务中的优越性能。这些结果充分验证了评估器共进化的有效性，尤其在无直接基准或评估成本高昂的场景中表现出显著优势。通过贝叶斯替换和对抗训练，系统在多轮演化中逐步优化目标，展现出强大的适应能力和鲁棒性。
应用场景
该系统在自动代码生成、科学论文自动撰写、数学证明、学术评审等场景中具有广泛应用潜力。尤其适用于缺乏明确基准或评估成本高昂的任务，通过学习的评估器实现高效评价和优化。未来可结合强化学习和元学习技术，推动自主科研、自动化设计、智能评审等领域的发展。系统还可用于多模态任务，结合图像、文本、推理等多种信息源，打造更全面的自主智能体。
局限与展望
目前系统在多轮演化中仍面临计算资源消耗大、评估器替换频繁带来的稳定性挑战。此外，系统在极端复杂任务中的泛化能力尚未充分验证，未来需优化算法效率和稳定性。贝叶斯替换的统计学依据在某些场景可能不够充分，需结合其他评估机制增强鲁棒性。长时间演化可能引入偏差积累，影响系统的持续性能。未来研究应关注多模态、多目标的动态调节机制和更高效的演化策略，以实现更大规模的自主智能系统。
术语表
Self-improving agents (自我改进代理)
能够通过自身修改或优化算法实现性能提升的智能系统，核心在于自主学习和演化。
本文中指通过递归自我修改实现性能提升的AI系统。
Red Queen Hypothesis (红皇后假说)
生物进化中物种不断适应环境以保持竞争力的理论，比喻系统持续演化以适应变化。
用作系统不断共进化的比喻。
Gödel Machine (哥德尔机器)
一种理论上的自我改进系统，能证明自身改进的有效性，依赖形式逻辑证明。
基础算法框架之一。
贝叶斯后验 (Bayesian posterior)
在贝叶斯统计中，基于先验和新数据计算的后验概率，用于评估模型或评估器的优劣。
用于评估器替换的统计依据。
贝塔分布 (Beta distribution)
一种连续概率分布，常用于建模二项成功概率的后验分布，具有灵活的形状参数。
在贝叶斯评估器替换中使用。
多智能体系统 (Multi-agent system)
由多个自主智能体组成的系统，彼此协作或竞争以完成复杂任务。
本文中的架构基础。
对抗目标 (Adversarial objective)
设计目标使模型在训练中面对对手或挑战，以增强鲁棒性和公平性。
调节评估器的严格程度。
贝叶斯采样 (Bayesian sampling)
根据贝叶斯后验分布抽样，用于模型选择或参数优化。
实现评估器替换的关键技术。
ground-truth anchor (真实标杆)
固定的、可信的评价标准，用于评估模型或系统的性能。
用于评估器的替换依据。
贝叶斯下界 (Bayesian lower bound)
贝叶斯后验的α-分位数，用作模型或评估器的性能保证。
确保替换的统计学有效性。
多角色多任务架构
系统中不同角色（任务智能体、评估器）共享资源，共同演化以完成多样任务。
系统设计的基础。
贝叶斯后验的α-分位数
贝塔分布的α分位点，用于统计学上保守的性能估计。
评估器替换的依据。
对抗训练 (Adversarial training)
通过引入对手或挑战，增强模型鲁棒性的方法。
调节评估器严格程度。
贝叶斯后验更新
在新数据到达后，更新模型的后验分布，支持连续学习。
实现多轮演化。
指数间隔checkpoint
在演化过程中，按照指数增长的时间点进行状态保存和评估器替换，控制成本。
管理演化的效率。
开放问题 这项研究留下的未解疑问
- 1 目前系统在多轮演化中仍依赖于预定义的epoch边界，未来需研究更细粒度的动态调节机制，以实现连续性和稳定性更佳的优化。
- 2 在极端复杂任务或长时间演化中，系统的泛化能力和稳定性尚未充分验证，需结合更高效的算法和多模态信息进行优化。
- 3 贝叶斯替换机制的统计学依据在某些场景可能不足，未来应结合其他评估指标或机制，增强鲁棒性和适应性。
- 4 系统在多角色、多任务环境中的扩展性和可扩展性仍需验证，尤其在大规模、多样化任务中表现如何。
- 5 如何在保证理论收敛保证的同时，提升系统的实际运行效率和资源利用率，是未来的重要研究方向。
应用场景
近期应用
自动代码生成与优化
利用RQGM在无明确基准的代码任务中，通过学习评估器实现高效搜索，提升自动编程和代码修复能力，减少人工干预。
科学论文自动撰写与评审
通过共进化的写作和评审系统，自动生成高质量论文，自动评估和筛选，提升学术出版效率，降低评审偏差。
数学证明与推理自动化
在复杂数学证明中，利用学习的评分器引导推理过程，自动验证证明的正确性，推动自动化数学研究。
远期愿景
自主科学发现
系统通过不断演化评估标准，自动提出假设、设计实验，推动科学研究的自主化，缩短创新周期。
全面自主智能体
结合多模态、多任务的共演化机制，打造具备自主学习、适应和创新能力的通用智能系统，改变未来人机合作方式。
原文摘要
Self-improving agents are state-of-the-art (SOTA) on agentic coding benchmarks and have recently been extended to general domains. However, their search methods generally assume a stationary evaluation criterion: a fixed verifier, benchmark, or labeled dataset that remains valid as the agent improves. This ignores a central feature of evolution: species adapt as their environments change with them. We aim to bring the same principle to recursive self-improvement, making evaluation part of the improvement loop and opening search to evolving evaluators, adversarial objectives, and dynamic utilities that may surpass static benchmarks. We introduce the Red Queen Godel Machine (RQGM), an evolutionary framework for recursive self-improvement under non-stationary utilities. The RQGM makes this possible through controlled utility evolution: search is organized into epochs with a fixed within-epoch evaluation criterion, while the utility can be updated at epoch boundaries, so self-improvement guarantees hold per epoch as the objective evolves across them. We begin by showing that even on verifiable coding tasks, the RQGM improves test pass rate over the prior SOTA by adding a complementary agent-as-a-judge code-review signal. This signal is cheaper and the RQGM uses 1.35x-1.72x fewer tokens. We then turn to scientific paper writing and reviewing, and Olympiad-level proof writing and grading, where the RQGM improves performance over prior self-improving agents: co-evolved writers reach 1.78x-1.86x higher acceptance rates under a diverse agent-as-a-judge panel, while co-evolved graders reach 9% higher ground-truth accuracy. In paper reviewing, the strongest baseline reviewer over-accepts AI-generated papers at up to 1.91x the human rate. The RQGM corrects this by introducing an adversarial objective that discovers reviewers equally stringent on AI and human work.
参考文献 (20)
Huxley-Gödel Machine: Human-Level Coding Agent Development by an Approximation of the Optimal Self-Improving Machine
Wenyi Wang, Piotr Piekos, Nanbo Li 等
LLM Evaluators Recognize and Favor Their Own Generations
Arjun Panickssery, Samuel R. Bowman, Shi Feng
Towards end-to-end automation of AI research
Chris Lu, Cong Lu, R. Lange 等
Towards Robust Mathematical Reasoning
Thang Luong, Dawsen Hwang, Hoang Nguyen 等
Mathematical discoveries from program search with large language models
B. Romera-Paredes, M. Barekatain, Alexander Novikov 等
Algorithms for Infinitely Many-Armed Bandits
Yizao Wang, Jean-Yves Audibert, R. Munos
New Methods for Competitive Coevolution
Christopher D. Rosin, R. Belew
Open-Endedness is Essential for Artificial Superhuman Intelligence
Edward Hughes, Michael Dennis, Jack Parker-Holder 等
AlphaEvolve: A coding agent for scientific and algorithmic discovery
Alexander Novikov, Ngân V˜u, Marvin Eisenberger 等
Gödel Agent: A Self-Referential Agent Framework for Recursively Self-Improvement
Xunjian Yin, Xinyi Wang, Liangming Pan 等
A general reinforcement learning algorithm that masters chess, shogi, and Go through self-play
David Silver, T. Hubert, Julian Schrittwieser 等
A multi-agent system for automating scientific discovery.
A. Ghareeb, Benjamin Chang, L. Mitchener 等
Go-Explore: a New Approach for Hard-Exploration Problems
Adrien Ecoffet, Joost Huizinga, J. Lehman 等
A new evolutionary law
L. Valen
Live-SWE-agent: Can Software Engineering Agents Self-Evolve on the Fly?
Chun Xia, Zhe Wang, Yan Yang 等
Self-Improvement of Large Language Models: A Technical Overview and Future Outlook
Haoyan Yang, Mario Xerri, Solha Park 等
Judging LLM-as-a-judge with MT-Bench and Chatbot Arena
Lianmin Zheng, Wei-Lin Chiang, Ying Sheng 等
Multi-Agent Evolve: LLM Self-Improve through Co-evolution
Yixin Chen, Yiding Wang, Siqi Zhu 等
SWE-bench: Can Language Models Resolve Real-World GitHub Issues?
Carlos E. Jimenez, John Yang, Alexander Wettig 等