Razonamiento Mejorado por la Diversidad para Preguntas Subjetivas

Diversity-Enhanced Reasoning for Subjective Questions

July 27, 2025

Autores: Yumeng Wang, Zhiyuan Fan, Jiayu Liu, Yi R. Fung

cs.AI

Resumen

Los modelos de razonamiento a gran escala (LRM, por sus siglas en inglés) con capacidades de cadena de pensamiento (CoT) extensa han demostrado un rendimiento sólido en tareas objetivas, como el razonamiento matemático y la codificación. Sin embargo, su efectividad en preguntas subjetivas que pueden tener respuestas diferentes desde distintas perspectivas sigue siendo limitada debido a una tendencia hacia un razonamiento homogéneo, introducido por la dependencia de una única verdad fundamental en el ajuste fino supervisado y de recompensas verificables en el aprendizaje por refuerzo. Motivados por el hallazgo de que aumentar las perspectivas de roles mejora consistentemente el rendimiento, proponemos MultiRole-R1, un marco mejorado con diversidad que incorpora múltiples perspectivas de roles, para mejorar la precisión y diversidad en tareas de razonamiento subjetivo. MultiRole-R1 incluye una canalización de construcción de datos no supervisada que genera cadenas de razonamiento que incorporan diversas perspectivas de roles. Además, empleamos aprendizaje por refuerzo mediante la Optimización de Política Relativa de Grupo (GRPO, por sus siglas en inglés) con moldeado de recompensas, tomando la diversidad como una señal de recompensa adicional a la recompensa verificable. Con funciones de recompensa especialmente diseñadas, logramos promover la diversidad de perspectivas y la diversidad léxica, descubriendo una relación positiva entre la diversidad de razonamiento y la precisión. Nuestro experimento en seis puntos de referencia demuestra la efectividad y generalizabilidad de MultiRole-R1 para mejorar tanto el razonamiento subjetivo como el objetivo, mostrando el potencial del entrenamiento mejorado con diversidad en los LRM.

English

Large reasoning models (LRM) with long chain-of-thought (CoT) capabilities have shown strong performance on objective tasks, such as math reasoning and coding. However, their effectiveness on subjective questions that may have different responses from different perspectives is still limited by a tendency towards homogeneous reasoning, introduced by the reliance on a single ground truth in supervised fine-tuning and verifiable reward in reinforcement learning. Motivated by the finding that increasing role perspectives consistently improves performance, we propose MultiRole-R1, a diversity-enhanced framework with multiple role perspectives, to improve the accuracy and diversity in subjective reasoning tasks. MultiRole-R1 features an unsupervised data construction pipeline that generates reasoning chains that incorporate diverse role perspectives. We further employ reinforcement learning via Group Relative Policy Optimization (GRPO) with reward shaping, by taking diversity as a reward signal in addition to the verifiable reward. With specially designed reward functions, we successfully promote perspective diversity and lexical diversity, uncovering a positive relation between reasoning diversity and accuracy. Our experiment on six benchmarks demonstrates MultiRole-R1's effectiveness and generalizability in enhancing both subjective and objective reasoning, showcasing the potential of diversity-enhanced training in LRMs.