L'horizon de vérification : pas de solution miracle pour les récompenses des agents de codage

Résumé

Une intuition classique veut que vérifier une solution soit plus facile que la produire. Pour les agents de codage actuels, cette intuition s’inverse : à mesure que les modèles fondamentaux développent des capacités de raisonnement plus puissantes et que les outils d’ingénierie se perfectionnent, générer des solutions candidates complexes n’est plus difficile — c’est leur vérification fiable qui est devenue le problème le plus ardu. Tout vérificateur que nous pouvons construire n’est qu’un proxy de l’intention humaine, jamais l’intention elle‑même. Cela soumet la vérification à une double difficulté : d’une part, l’intention est par nature sous‑spécifiée, ce qui la rend intrinsèquement difficile à contrôler fidèlement ; d’autre part, lors de l’entraînement du modèle, l’optimisation creuse l’écart entre le proxy et l’intention — ce qui se manifeste par un détournement de récompense ou une saturation du signal. Pour y remédier, nous caractérisons la qualité des signaux de vérification selon trois dimensions — évolutivité, fidélité et robustesse — et soutenons que les atteindre simultanément constitue le défi central. Nous étudions ensuite quatre constructions de récompense : un vérificateur par tests pour les tâches générales de codage, un vérificateur par grille d’évaluation pour les tâches frontend, l’utilisateur comme vérificateur pour les tâches d’agent en situation réelle, et un vérificateur agent automatisé pour les tâches à long terme. À travers différents types de tâches et niveaux de capacité des politiques, nous menons une analyse approfondie et des expériences sur les défis fondamentaux de la conception des récompenses et sur la manière d’exploiter plus efficacement les signaux de récompense. Les expériences montrent qu’une conception ciblée de la vérification peut supprimer efficacement le détournement de récompense, améliorer la qualité d’exécution des tâches et obtenir des gains significatifs sur plusieurs benchmarks internes et publics. Ces expériences convergent vers une observation centrale : aucune fonction de récompense fixe ne peut rester efficace à mesure que la capacité de la politique continue de croître ; la vérification doit donc co‑évoluer avec le générateur.

English

A classical intuition holds that verifying a solution is easier than producing one. For today's coding agents, this intuition is being inverted: as foundation models develop stronger reasoning capabilities and engineering harnesses grow more sophisticated, generating complex candidate solutions is no longer difficult -- reliably verifying them has become the harder problem. Every verifier we can build is only a proxy for human intent, never the intent itself. This makes verification subject to a twofold difficulty: first, intent is underspecified by nature, making it inherently hard to faithfully check whether it has been fulfilled; second, during model training, optimization widens the gap between proxy and intent -- manifesting as reward hacking or signal saturation. To address this, we characterize the quality of verification signals along three dimensions -- scalability, faithfulness, and robustness -- and argue that achieving all three simultaneously is the central challenge. We further study four reward constructions: a test verifier for general coding tasks, a rubric verifier for frontend tasks, the user as verifier for real-world agent tasks, and an automated agent verifier for long-horizon tasks. Across different task types and policy capability levels, we conduct in-depth analysis and experiments on the core challenges of reward design and how to more effectively leverage reward signals. Experiments show that targeted verification design can effectively suppress reward hacking, improve task completion quality, and achieve significant gains across multiple internal and public benchmarks. These experiences collectively point to a core observation: no fixed reward function can remain effective as policy capability continues to grow; and verification must co-evolve with the generator.