Agon: 추론의 암묵적 경쟁자 등급 평가를 통한 경쟁적 교차 모델 강화 학습

초록

검증 가능한 보상으로부터의 강화 학습(예: GRPO)은 오늘날 추론 모델의 엔진이지만, 최종 답변만 채점한다. 어려운 문제에서는 이로 인해 모델이 더 잘 생각하기보다 더 많이 쓰도록 훈련되는데, 그 이유는 과정 자체가 채점되지 않고 좋은 사고에 대한 레이블이 존재하지 않기 때문이다. 우리는 두 경쟁 모델이 서로의 평가자가 되도록 하는 Agon을 소개한다. 두 모델 모두 동일한 문제를 시도한다. 역할을 번갈아 가며, 하나는 해결책을 초안하고 다른 하나는 문제를 풀면서 그 초안을 읽으며, 각 모델은 상대방을 능가하는 해결을 했을 때 보상을 받는다. 승리하기 위해 모델은 자신의 작업을 본 경쟁자보다 더 나은 추론을 해야 하므로, 추론은 과정 레이블이나 보상 모델 없이 훈련 중에 암묵적으로 평가된다. 두 모델 모두 최적화되므로 각 모델은 점차 강해지는 경쟁자와 마주하게 되며, 이는 단일 모델 강화 학습으로는 제공할 수 없는 것이다. 두 모델은 단지 비교 가능한 수준의 강점과 행동적 차이만 있으면 된다. 추론 시에는 훈련할 때처럼 쌍이 배치되는데, 한 모델이 초안을 작성하고 다른 모델이 초안을 읽은 후 답변하는 2단계 계단식 구조이다. Qwen3를 사용한 DeepMath의 난이도 분할에서 이 방법은 GRPO의 pass@1을 두 배로 증가시켰으며, 이는 동일한 베이스에 대해 훈련되지 않은 에이전트 혼합의 향상보다 약 8배 큰 것이다. 이러한 순서는 경쟁 프로그래밍 코드와 다양한 모델 계열(Qwen3.5, Gemma 4)에서도 재현된다. 현재로서는 모델들이 텍스트로 소통한다. 다음 단계는 모델들이 잠재 공간에서 함께 추론하도록 하는 것이다.

English

Reinforcement learning from verifiable rewards (e.g. GRPO) is the engine behind today's reasoning models, yet it grades only the final answer. On hard problems this trains models to write more rather than to think better, since the trace itself is never graded and no label for good thinking exists. We introduce Agon, which makes two competing models each other's graders. Both attempt the same problem; in alternating roles, one drafts a solution and the other reads it while solving, and each is rewarded for out-solving the other. To win, a model must out-reason a rival that has seen its work, so reasoning is judged implicitly during training, with no process labels and no reward model. Because both models are optimized, each faces a progressively stronger rival, which single-model RL cannot provide. The two need only be comparably strong and behaviorally different. At inference the pair deploys as it trains, a two-stage cascade in which one model drafts and the other answers after reading the draft. On the hard split of DeepMath with Qwen3, this doubles GRPO's pass@1, roughly eight times the gain of an untrained Mixture-of-Agents pass over the same base. The ordering replicates on competitive-programming code and across model families (Qwen3.5, Gemma 4). For now the models talk in text; the next step is to let them reason together in latent space.