Diversiteit-Versterkt Redeneren voor Subjectieve Vragen

Diversity-Enhanced Reasoning for Subjective Questions

July 27, 2025

Auteurs: Yumeng Wang, Zhiyuan Fan, Jiayu Liu, Yi R. Fung

cs.AI

Samenvatting

Grote redeneermodellen (LRM) met uitgebreide keten-van-gedachten (CoT) mogelijkheden hebben sterke prestaties getoond op objectieve taken, zoals wiskundig redeneren en coderen. Hun effectiviteit op subjectieve vragen die verschillende antwoorden kunnen hebben afhankelijk van het perspectief, blijft echter beperkt door een neiging tot homogeen redeneren, veroorzaakt door de afhankelijkheid van een enkele grondwaarheid bij supervised fine-tuning en verifieerbare beloningen bij reinforcement learning. Gemotiveerd door de bevinding dat het toevoegen van rolperspectieven consistent de prestaties verbetert, stellen we MultiRole-R1 voor, een diversiteit-versterkt raamwerk met meerdere rolperspectieven, om de nauwkeurigheid en diversiteit in subjectieve redeneertaken te verbeteren. MultiRole-R1 beschikt over een onbewaakte dataconstructiepijplijn die redeneerketens genereert die diverse rolperspectieven incorporeren. We passen verder reinforcement learning toe via Group Relative Policy Optimization (GRPO) met beloningsvorming, waarbij diversiteit als een beloningssignaal wordt gebruikt naast de verifieerbare beloning. Met speciaal ontworpen beloningsfuncties bevorderen we succesvol perspectiefdiversiteit en lexicale diversiteit, waarbij een positieve relatie tussen redeneerdiversiteit en nauwkeurigheid wordt blootgelegd. Ons experiment op zes benchmarks toont de effectiviteit en generaliseerbaarheid van MultiRole-R1 in het verbeteren van zowel subjectief als objectief redeneren, wat het potentieel van diversiteit-versterkte training in LRM's aantoont.

English

Large reasoning models (LRM) with long chain-of-thought (CoT) capabilities have shown strong performance on objective tasks, such as math reasoning and coding. However, their effectiveness on subjective questions that may have different responses from different perspectives is still limited by a tendency towards homogeneous reasoning, introduced by the reliance on a single ground truth in supervised fine-tuning and verifiable reward in reinforcement learning. Motivated by the finding that increasing role perspectives consistently improves performance, we propose MultiRole-R1, a diversity-enhanced framework with multiple role perspectives, to improve the accuracy and diversity in subjective reasoning tasks. MultiRole-R1 features an unsupervised data construction pipeline that generates reasoning chains that incorporate diverse role perspectives. We further employ reinforcement learning via Group Relative Policy Optimization (GRPO) with reward shaping, by taking diversity as a reward signal in addition to the verifiable reward. With specially designed reward functions, we successfully promote perspective diversity and lexical diversity, uncovering a positive relation between reasoning diversity and accuracy. Our experiment on six benchmarks demonstrates MultiRole-R1's effectiveness and generalizability in enhancing both subjective and objective reasoning, showcasing the potential of diversity-enhanced training in LRMs.