DPWriter: Verstärkendes Lernen mit diverser Planungsverzweigung für kreatives Schreiben
DPWriter: Reinforcement Learning with Diverse Planning Branching for Creative Writing
January 14, 2026
papers.authors: Qian Cao, Yahui Liu, Wei Bi, Yi Zhao, Ruihua Song, Xiting Wang, Ruiming Tang, Guorui Zhou, Han Li
cs.AI
papers.abstract
Die verstärkende Optimierung (Reinforcement Learning, RL) großer Sprachmodelle (Large Language Models, LLMs) führt häufig zu einer verringerten Ausgabevielfalt, was deren Nützlichkeit für offene Aufgaben wie kreatives Schreiben beeinträchtigt. Bisherigen Methoden fehlen explizite Mechanismen zur Steuerung einer vielfältigen Exploration und priorisieren stattdessen Optimierungseffizienz und Leistung gegenüber Diversität. Dieser Beitrag schlägt ein RL-Framework vor, das um eine semi-strukturierte, lange Denkkette (Chain-of-Thought, CoT) strukturiert ist, wobei der Generierungsprozess in explizit geplante Zwischenschritte zerlegt wird. Wir führen eine Methode der diversen Planungsverzweigung (Diverse Planning Branching) ein, die strategisch Divergenz in der Planungsphase auf Basis von Diversitätsschwankungen einführt, ergänzt durch eine gruppenbewusste Diversitätsbelohnung (group-aware diversity reward), um unterschiedliche Trajektorien zu fördern. Experimentelle Ergebnisse auf Benchmarks für kreatives Schreiben zeigen, dass unser Ansatz die Ausgabevielfalt signifikant verbessert, ohne die Generierungsqualität zu beeinträchtigen, und dabei konsistent bestehende Baseline-Methoden übertrifft.
English
Reinforcement learning (RL)-based enhancement of large language models (LLMs) often leads to reduced output diversity, undermining their utility in open-ended tasks like creative writing. Current methods lack explicit mechanisms for guiding diverse exploration and instead prioritize optimization efficiency and performance over diversity. This paper proposes an RL framework structured around a semi-structured long Chain-of-Thought (CoT), in which the generation process is decomposed into explicitly planned intermediate steps. We introduce a Diverse Planning Branching method that strategically introduces divergence at the planning phase based on diversity variation, alongside a group-aware diversity reward to encourage distinct trajectories. Experimental results on creative writing benchmarks demonstrate that our approach significantly improves output diversity without compromising generation quality, consistently outperforming existing baselines.