DPWriter: Обучение с подкреплением с разнообразным ветвлением планирования для творческого письма
DPWriter: Reinforcement Learning with Diverse Planning Branching for Creative Writing
January 14, 2026
Авторы: Qian Cao, Yahui Liu, Wei Bi, Yi Zhao, Ruihua Song, Xiting Wang, Ruiming Tang, Guorui Zhou, Han Li
cs.AI
Аннотация
Улучшение больших языковых моделей (LLM) на основе обучения с подкреплением (RL) часто приводит к снижению разнообразия выходных данных, что подрывает их полезность в задачах с открытым концом, таких как творческое письмо. Современные методы не имеют явных механизмов для направленного изучения разнообразных вариантов и вместо этого отдают приоритет эффективности оптимизации и производительности в ущерб разнообразию. В данной статье предлагается RL-фреймворк, структурированный вокруг полуструктурированной длинной цепочки рассуждений (Chain-of-Thought, CoT), в котором процесс генерации декомпозируется на явно планируемые промежуточные шаги. Мы представляем метод ветвления с разнообразным планированием, который стратегически вносит расхождения на этапе планирования на основе вариаций разнообразия, а также групповое вознаграждение за разнообразие для поощрения различных траекторий. Результаты экспериментов на бенчмарках творческого письма демонстрируют, что наш подход значительно улучшает разнообразие выходных данных без ущерба для качества генерации, стабильно превосходя существующие базовые методы.
English
Reinforcement learning (RL)-based enhancement of large language models (LLMs) often leads to reduced output diversity, undermining their utility in open-ended tasks like creative writing. Current methods lack explicit mechanisms for guiding diverse exploration and instead prioritize optimization efficiency and performance over diversity. This paper proposes an RL framework structured around a semi-structured long Chain-of-Thought (CoT), in which the generation process is decomposed into explicitly planned intermediate steps. We introduce a Diverse Planning Branching method that strategically introduces divergence at the planning phase based on diversity variation, alongside a group-aware diversity reward to encourage distinct trajectories. Experimental results on creative writing benchmarks demonstrate that our approach significantly improves output diversity without compromising generation quality, consistently outperforming existing baselines.