Au-delà de l'échelle de longueur : Synergie entre l'étendue et la profondeur pour les modèles de récompense génératifs
Beyond Length Scaling: Synergizing Breadth and Depth for Generative Reward Models
March 2, 2026
Auteurs: Qiyuan Zhang, Yufei Wang, Tianhe Wu, Can Xu, Qingfeng Sun, Kai Zheng, Xue Liu, Chen Ma
cs.AI
Résumé
Les avancées récentes des Modèles de Génératifs de Récompense (GRM) démontrent que l'augmentation de la longueur du raisonnement en Chaîne de Pensée (CoT) améliore considérablement la fiabilité de l'évaluation. Cependant, les travaux actuels reposent principalement sur un accroissement non structuré de la longueur, négligeant l'efficacité divergente des différents mécanismes de raisonnement : la CoT en Largeur (B-CoT, c'est-à-dire la couverture multidimensionnelle des principes) et la CoT en Profondeur (D-CoT, c'est-à-dire la solidité du jugement substantiel). Pour remédier à cela, nous présentons Mix-GRM, un cadre qui reconfigure les rationalités brutes en B-CoT et D-CoT structurées via un pipeline de synthèse modulaire, puis utilise le Fine-Tuning Supervisé (SFT) et l'Apprentissage par Renforcement avec Récompenses Vérifiables (RLVR) pour internaliser et optimiser ces mécanismes. Des expériences approfondies démontrent que Mix-GRM établit un nouvel état de l'art sur cinq benchmarks, surpassant les principaux GRM open-source de 8,2 % en moyenne. Nos résultats révèlent une divergence claire dans le raisonnement : la B-CoT profite aux tâches de préférence subjective, tandis que la D-CoT excelle dans les tâches de justesse objective. Par conséquent, un désalignement entre le mécanisme de raisonnement et la tâche dégrade directement les performances. De plus, nous démontrons que le RLVR agit comme un amplificateur commutateur, induisant une polarisation émergente où le modèle alloue spontanément son style de raisonnement pour correspondre aux exigences de la tâche. Les données et modèles synthétisés sont publiés sur https://huggingface.co/collections/DonJoey/mix-grm{Hugging Face}, et le code est publié sur https://github.com/Don-Joey/Mix-GRM{Github}.
English
Recent advancements in Generative Reward Models (GRMs) have demonstrated that scaling the length of Chain-of-Thought (CoT) reasoning considerably enhances the reliability of evaluation. However, current works predominantly rely on unstructured length scaling, ignoring the divergent efficacy of different reasoning mechanisms: Breadth-CoT (B-CoT, i.e., multi-dimensional principle coverage) and Depth-CoT (D-CoT, i.e., substantive judgment soundness). To address this, we introduce Mix-GRM, a framework that reconfigures raw rationales into structured B-CoT and D-CoT through a modular synthesis pipeline, subsequently employing Supervised Fine-Tuning (SFT) and Reinforcement Learning with Verifiable Rewards (RLVR) to internalize and optimize these mechanisms. Comprehensive experiments demonstrate that Mix-GRM establishes a new state-of-the-art across five benchmarks, surpassing leading open-source RMs by an average of 8.2\%. Our results reveal a clear divergence in reasoning: B-CoT benefits subjective preference tasks, whereas D-CoT excels in objective correctness tasks. Consequently, misaligning the reasoning mechanism with the task directly degrades performance. Furthermore, we demonstrate that RLVR acts as a switching amplifier, inducing an emergent polarization where the model spontaneously allocates its reasoning style to match task demands. The synthesized data and models are released at https://huggingface.co/collections/DonJoey/mix-grm{Hugging Face}, and the code is released at https://github.com/Don-Joey/Mix-GRM{Github}.