DPWriter: Aprendizado por Reforço com Ramificação de Planejamento Diversificada para Escrita Criativa
DPWriter: Reinforcement Learning with Diverse Planning Branching for Creative Writing
January 14, 2026
Autores: Qian Cao, Yahui Liu, Wei Bi, Yi Zhao, Ruihua Song, Xiting Wang, Ruiming Tang, Guorui Zhou, Han Li
cs.AI
Resumo
A melhoria de grandes modelos de linguagem (LLMs) baseada em aprendizagem por reforço (RL) frequentemente resulta em uma redução da diversidade das saídas, comprometendo sua utilidade em tarefas de final aberto, como a escrita criativa. Os métodos atuais carecem de mecanismos explícitos para orientar uma exploração diversificada, priorizando a eficiência de otimização e o desempenho em detrimento da diversidade. Este artigo propõe um framework de RL estruturado em torno de uma longa Cadeia de Pensamento (CoT) semiestruturada, na qual o processo de geração é decomposto em etapas intermediárias explicitamente planejadas. Introduzimos um método de Ramificação de Planejamento Diversificado que introduz estrategicamente divergência na fase de planejamento com base na variação de diversidade, juntamente com uma recompensa de diversidade consciente do grupo para incentivar trajetórias distintas. Resultados experimentais em benchmarks de escrita criativa demonstram que nossa abordagem melhora significativamente a diversidade das saídas sem comprometer a qualidade da geração, superando consistentemente as linhas de base existentes.
English
Reinforcement learning (RL)-based enhancement of large language models (LLMs) often leads to reduced output diversity, undermining their utility in open-ended tasks like creative writing. Current methods lack explicit mechanisms for guiding diverse exploration and instead prioritize optimization efficiency and performance over diversity. This paper proposes an RL framework structured around a semi-structured long Chain-of-Thought (CoT), in which the generation process is decomposed into explicitly planned intermediate steps. We introduce a Diverse Planning Branching method that strategically introduces divergence at the planning phase based on diversity variation, alongside a group-aware diversity reward to encourage distinct trajectories. Experimental results on creative writing benchmarks demonstrate that our approach significantly improves output diversity without compromising generation quality, consistently outperforming existing baselines.