DPWriter: Reinforcement Learning met Gevarieerde Planningsvertakking voor Creatief Schrijven
DPWriter: Reinforcement Learning with Diverse Planning Branching for Creative Writing
January 14, 2026
Auteurs: Qian Cao, Yahui Liu, Wei Bi, Yi Zhao, Ruihua Song, Xiting Wang, Ruiming Tang, Guorui Zhou, Han Li
cs.AI
Samenvatting
Op reinforcement learning (RL) gebaseerde verbetering van grote taalmodellen (LLM's) leidt vaak tot een verminderde uitvoerdiversiteit, wat hun bruikbaarheid in open-eindtaken zoals creatief schrijven ondermijnt. Bestaande methoden missen expliciete mechanismen om diverse verkenning te sturen en prioriteren optimalisatie-efficiëntie en prestaties boven diversiteit. Dit artikel stelt een RL-raamwerk voor dat is gestructureerd rond een semi-gestructureerde lange Chain-of-Thought (CoT), waarbij het generatieproces wordt opgedeeld in expliciet geplande tussenstappen. Wij introduceren een *Diverse Planning Branching*-methode die strategisch divergentie introduceert in de planningsfase op basis van diversiteitsvariatie, samen met een groepsbewuste diversiteitsbeloning om verschillende trajecten aan te moedigen. Experimentele resultaten op creatief-schrijfbenchmarks tonen aan dat onze aanpak de uitvoerdiversiteit aanzienlijk verbetert zonder de generatiekwaliteit te compromitteren, en consistent beter presteert dan bestaande baseline-methoden.
English
Reinforcement learning (RL)-based enhancement of large language models (LLMs) often leads to reduced output diversity, undermining their utility in open-ended tasks like creative writing. Current methods lack explicit mechanisms for guiding diverse exploration and instead prioritize optimization efficiency and performance over diversity. This paper proposes an RL framework structured around a semi-structured long Chain-of-Thought (CoT), in which the generation process is decomposed into explicitly planned intermediate steps. We introduce a Diverse Planning Branching method that strategically introduces divergence at the planning phase based on diversity variation, alongside a group-aware diversity reward to encourage distinct trajectories. Experimental results on creative writing benchmarks demonstrate that our approach significantly improves output diversity without compromising generation quality, consistently outperforming existing baselines.