Diversitätsgesteuerte Argumentation für subjektive Fragen

Diversity-Enhanced Reasoning for Subjective Questions

July 27, 2025

papers.authors: Yumeng Wang, Zhiyuan Fan, Jiayu Liu, Yi R. Fung

cs.AI

papers.abstract

Große Reasoning-Modelle (LRM) mit langen Chain-of-Thought (CoT)-Fähigkeiten haben bei objektiven Aufgaben wie mathematischem Reasoning und Programmierung starke Leistungen gezeigt. Ihre Wirksamkeit bei subjektiven Fragen, die aus verschiedenen Perspektiven unterschiedliche Antworten haben können, ist jedoch durch eine Tendenz zu homogenem Reasoning eingeschränkt, die durch die Abhängigkeit von einer einzigen Grundwahrheit beim überwachten Feinabstimmen und überprüfbaren Belohnungen beim Reinforcement Learning eingeführt wird. Motiviert durch die Erkenntnis, dass die Erhöhung der Rollenperspektiven die Leistung konsequent verbessert, schlagen wir MultiRole-R1 vor, ein diversitätsgestärktes Framework mit mehreren Rollenperspektiven, um die Genauigkeit und Vielfalt bei subjektiven Reasoning-Aufgaben zu verbessern. MultiRole-R1 verfügt über eine unüberwachte Datenkonstruktionspipeline, die Reasoning-Ketten generiert, die verschiedene Rollenperspektiven einbeziehen. Wir setzen weiterhin Reinforcement Learning über Group Relative Policy Optimization (GRPO) mit Belohnungsformung ein, indem wir Vielfalt als zusätzliches Belohnungssignal neben der überprüfbaren Belohnung verwenden. Mit speziell entwickelten Belohnungsfunktionen fördern wir erfolgreich Perspektivenvielfalt und lexikalische Vielfalt und decken eine positive Beziehung zwischen Reasoning-Vielfalt und Genauigkeit auf. Unser Experiment auf sechs Benchmarks demonstriert die Wirksamkeit und Generalisierbarkeit von MultiRole-R1 bei der Verbesserung sowohl subjektiven als auch objektiven Reasonings und zeigt das Potenzial von diversitätsgestärktem Training in LRMs auf.

English

Large reasoning models (LRM) with long chain-of-thought (CoT) capabilities have shown strong performance on objective tasks, such as math reasoning and coding. However, their effectiveness on subjective questions that may have different responses from different perspectives is still limited by a tendency towards homogeneous reasoning, introduced by the reliance on a single ground truth in supervised fine-tuning and verifiable reward in reinforcement learning. Motivated by the finding that increasing role perspectives consistently improves performance, we propose MultiRole-R1, a diversity-enhanced framework with multiple role perspectives, to improve the accuracy and diversity in subjective reasoning tasks. MultiRole-R1 features an unsupervised data construction pipeline that generates reasoning chains that incorporate diverse role perspectives. We further employ reinforcement learning via Group Relative Policy Optimization (GRPO) with reward shaping, by taking diversity as a reward signal in addition to the verifiable reward. With specially designed reward functions, we successfully promote perspective diversity and lexical diversity, uncovering a positive relation between reasoning diversity and accuracy. Our experiment on six benchmarks demonstrates MultiRole-R1's effectiveness and generalizability in enhancing both subjective and objective reasoning, showcasing the potential of diversity-enhanced training in LRMs.