Raciocínio Aprimorado pela Diversidade para Questões Subjetivas

Diversity-Enhanced Reasoning for Subjective Questions

July 27, 2025

Autores: Yumeng Wang, Zhiyuan Fan, Jiayu Liu, Yi R. Fung

cs.AI

Resumo

Modelos de raciocínio de grande escala (LRM) com capacidades de cadeia de pensamento (CoT) longa têm demonstrado um forte desempenho em tarefas objetivas, como raciocínio matemático e codificação. No entanto, sua eficácia em questões subjetivas que podem ter respostas diferentes dependendo da perspectiva ainda é limitada por uma tendência ao raciocínio homogêneo, introduzida pela dependência de uma única verdade fundamental no ajuste fino supervisionado e de recompensas verificáveis no aprendizado por reforço. Motivados pela descoberta de que o aumento das perspectivas de papéis melhora consistentemente o desempenho, propomos o MultiRole-R1, uma estrutura aprimorada para diversidade com múltiplas perspectivas de papéis, para melhorar a precisão e a diversidade em tarefas de raciocínio subjetivo. O MultiRole-R1 apresenta um pipeline de construção de dados não supervisionado que gera cadeias de raciocínio que incorporam diversas perspectivas de papéis. Além disso, empregamos aprendizado por reforço via Otimização de Política Relativa de Grupo (GRPO) com modelagem de recompensa, considerando a diversidade como um sinal de recompensa além da recompensa verificável. Com funções de recompensa especialmente projetadas, promovemos com sucesso a diversidade de perspectivas e a diversidade lexical, revelando uma relação positiva entre a diversidade de raciocínio e a precisão. Nossos experimentos em seis benchmarks demonstram a eficácia e a generalizabilidade do MultiRole-R1 no aprimoramento do raciocínio tanto subjetivo quanto objetivo, destacando o potencial do treinamento aprimorado para diversidade em LRMs.

English

Large reasoning models (LRM) with long chain-of-thought (CoT) capabilities have shown strong performance on objective tasks, such as math reasoning and coding. However, their effectiveness on subjective questions that may have different responses from different perspectives is still limited by a tendency towards homogeneous reasoning, introduced by the reliance on a single ground truth in supervised fine-tuning and verifiable reward in reinforcement learning. Motivated by the finding that increasing role perspectives consistently improves performance, we propose MultiRole-R1, a diversity-enhanced framework with multiple role perspectives, to improve the accuracy and diversity in subjective reasoning tasks. MultiRole-R1 features an unsupervised data construction pipeline that generates reasoning chains that incorporate diverse role perspectives. We further employ reinforcement learning via Group Relative Policy Optimization (GRPO) with reward shaping, by taking diversity as a reward signal in addition to the verifiable reward. With specially designed reward functions, we successfully promote perspective diversity and lexical diversity, uncovering a positive relation between reasoning diversity and accuracy. Our experiment on six benchmarks demonstrates MultiRole-R1's effectiveness and generalizability in enhancing both subjective and objective reasoning, showcasing the potential of diversity-enhanced training in LRMs.