Разнообразие-усиленное рассуждение для субъективных вопросов

Diversity-Enhanced Reasoning for Subjective Questions

July 27, 2025

Авторы: Yumeng Wang, Zhiyuan Fan, Jiayu Liu, Yi R. Fung

cs.AI

Аннотация

Крупные модели рассуждений (LRM) с расширенными возможностями цепочек рассуждений (CoT) продемонстрировали высокую производительность на объективных задачах, таких как математические рассуждения и программирование. Однако их эффективность на субъективных вопросах, которые могут иметь различные ответы с разных точек зрения, всё ещё ограничена склонностью к однородным рассуждениям, вызванной зависимостью от единственного эталонного ответа при контролируемой тонкой настройке и проверяемой награды в обучении с подкреплением. Вдохновлённые обнаружением того, что увеличение числа ролевых перспектив последовательно улучшает производительность, мы предлагаем MultiRole-R1 — фреймворк, усиленный разнообразием с множеством ролевых перспектив, для повышения точности и разнообразия в субъективных задачах рассуждений. MultiRole-R1 включает в себя неконтролируемый конвейер построения данных, который генерирует цепочки рассуждений, учитывающие различные ролевые перспективы. Мы также применяем обучение с подкреплением через Group Relative Policy Optimization (GRPO) с формированием награды, используя разнообразие как дополнительный сигнал награды наряду с проверяемой наградой. С помощью специально разработанных функций награды мы успешно стимулируем разнообразие перспектив и лексическое разнообразие, выявляя положительную связь между разнообразием рассуждений и точностью. Наши эксперименты на шести тестовых наборах демонстрируют эффективность и универсальность MultiRole-R1 в улучшении как субъективных, так и объективных рассуждений, подчеркивая потенциал обучения, усиленного разнообразием, в LRM.

English

Large reasoning models (LRM) with long chain-of-thought (CoT) capabilities have shown strong performance on objective tasks, such as math reasoning and coding. However, their effectiveness on subjective questions that may have different responses from different perspectives is still limited by a tendency towards homogeneous reasoning, introduced by the reliance on a single ground truth in supervised fine-tuning and verifiable reward in reinforcement learning. Motivated by the finding that increasing role perspectives consistently improves performance, we propose MultiRole-R1, a diversity-enhanced framework with multiple role perspectives, to improve the accuracy and diversity in subjective reasoning tasks. MultiRole-R1 features an unsupervised data construction pipeline that generates reasoning chains that incorporate diverse role perspectives. We further employ reinforcement learning via Group Relative Policy Optimization (GRPO) with reward shaping, by taking diversity as a reward signal in addition to the verifiable reward. With specially designed reward functions, we successfully promote perspective diversity and lexical diversity, uncovering a positive relation between reasoning diversity and accuracy. Our experiment on six benchmarks demonstrates MultiRole-R1's effectiveness and generalizability in enhancing both subjective and objective reasoning, showcasing the potential of diversity-enhanced training in LRMs.