Agon: 暗黙のライバル推論評価を伴う競争的クロスモデル強化学習

要旨

検証可能な報酬を用いた強化学習（例：GRPO）は、今日の推論モデルを支える原動力ですが、最終的な答えだけを評価します。難しい問題では、思考過程自体が評価されず、良い思考に対するラベルが存在しないため、この手法はモデルにより良い思考ではなく、より多くの出力を生成するよう訓練してしまいます。そこで我々は、2つの競合するモデルを互いの評価者とするAgonを提案します。両モデルは同じ問題に取り組み、役割を交代しながら一方が解答の草案を作成し、もう一方がそれを読みつつ問題を解きます。各モデルは相手よりも優れた解答を出すことで報酬を得ます。勝つためには、自身の作業を見た相手よりも優れた推論をしなければならず、その結果、訓練中に過程ラベルや報酬モデルを必要とせず、推論が暗黙的に評価されます。両方のモデルが最適化されるため、各モデルは徐々に強くなる相手に直面します。これは単一モデルの強化学習では実現できません。2つのモデルは、同等の強さと行動の違いがあれば十分です。推論時には、訓練時と同じように、一方のモデルが草案を作成し、もう一方がその草案を読んだ後に答える2段階のカスケードとして展開されます。Qwen3を用いたDeepMathのハード分割では、この手法はGRPOのpass@1を倍増させ、同一ベースに対する未訓練のMixture-of-Agentsパスの利得の約8倍になります。この順序は、競技プログラミングのコードやモデルファミリー（Qwen3.5、Gemma 4）でも再現されます。現在のところ、モデルはテキストで対話しますが、次のステップは潜在空間で一緒に推論させることです。

English

Reinforcement learning from verifiable rewards (e.g. GRPO) is the engine behind today's reasoning models, yet it grades only the final answer. On hard problems this trains models to write more rather than to think better, since the trace itself is never graded and no label for good thinking exists. We introduce Agon, which makes two competing models each other's graders. Both attempt the same problem; in alternating roles, one drafts a solution and the other reads it while solving, and each is rewarded for out-solving the other. To win, a model must out-reason a rival that has seen its work, so reasoning is judged implicitly during training, with no process labels and no reward model. Because both models are optimized, each faces a progressively stronger rival, which single-model RL cannot provide. The two need only be comparably strong and behaviorally different. At inference the pair deploys as it trains, a two-stage cascade in which one model drafts and the other answers after reading the draft. On the hard split of DeepMath with Qwen3, this doubles GRPO's pass@1, roughly eight times the gain of an untrained Mixture-of-Agents pass over the same base. The ordering replicates on competitive-programming code and across model families (Qwen3.5, Gemma 4). For now the models talk in text; the next step is to let them reason together in latent space.