Más allá del escalado de longitud: sinergia entre amplitud y profundidad para modelos de recompensa generativos
Beyond Length Scaling: Synergizing Breadth and Depth for Generative Reward Models
March 2, 2026
Autores: Qiyuan Zhang, Yufei Wang, Tianhe Wu, Can Xu, Qingfeng Sun, Kai Zheng, Xue Liu, Chen Ma
cs.AI
Resumen
Los avances recientes en Modelos Generativos de Recompensa (GRM) han demostrado que escalar la longitud del razonamiento en cadena (CoT) mejora considerablemente la fiabilidad de la evaluación. Sin embargo, los trabajos actuales se basan predominantemente en un escalado de longitud no estructurado, ignorando la eficacia divergente de los distintos mecanismos de razonamiento: CoT de Amplitud (B-CoT, es decir, cobertura multidimensional de principios) y CoT de Profundidad (D-CoT, es decir, solidez de juicio sustantivo). Para abordar esto, presentamos Mix-GRM, un marco que reconfigura las razones primarias en B-CoT y D-CoT estructurados mediante una canalización de síntesis modular, empleando posteriormente el Fine-Tuning Supervisado (SFT) y el Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) para internalizar y optimizar estos mecanismos. Experimentos exhaustivos demuestran que Mix-GRM establece un nuevo estado del arte en cinco benchmarks, superando a los principales modelos de recompensa de código abierto en un promedio del 8,2%. Nuestros resultados revelan una clara divergencia en el razonamiento: B-CoT beneficia las tareas de preferencia subjetiva, mientras que D-CoT sobresale en las tareas de corrección objetiva. En consecuencia, la desalineación del mecanismo de razonamiento con la tarea degrada directamente el rendimiento. Además, demostramos que RLVR actúa como un amplificador conmutador, induciendo una polarización emergente donde el modelo asigna espontáneamente su estilo de razonamiento para coincidir con las demandas de la tarea. Los datos y modelos sintetizados se publican en https://huggingface.co/collections/DonJoey/mix-grm, y el código se publica en https://github.com/Don-Joey/Mix-GRM.
English
Recent advancements in Generative Reward Models (GRMs) have demonstrated that scaling the length of Chain-of-Thought (CoT) reasoning considerably enhances the reliability of evaluation. However, current works predominantly rely on unstructured length scaling, ignoring the divergent efficacy of different reasoning mechanisms: Breadth-CoT (B-CoT, i.e., multi-dimensional principle coverage) and Depth-CoT (D-CoT, i.e., substantive judgment soundness). To address this, we introduce Mix-GRM, a framework that reconfigures raw rationales into structured B-CoT and D-CoT through a modular synthesis pipeline, subsequently employing Supervised Fine-Tuning (SFT) and Reinforcement Learning with Verifiable Rewards (RLVR) to internalize and optimize these mechanisms. Comprehensive experiments demonstrate that Mix-GRM establishes a new state-of-the-art across five benchmarks, surpassing leading open-source RMs by an average of 8.2\%. Our results reveal a clear divergence in reasoning: B-CoT benefits subjective preference tasks, whereas D-CoT excels in objective correctness tasks. Consequently, misaligning the reasoning mechanism with the task directly degrades performance. Furthermore, we demonstrate that RLVR acts as a switching amplifier, inducing an emergent polarization where the model spontaneously allocates its reasoning style to match task demands. The synthesized data and models are released at https://huggingface.co/collections/DonJoey/mix-grm{Hugging Face}, and the code is released at https://github.com/Don-Joey/Mix-GRM{Github}.