DPWriter: Aprendizaje por Refuerzo con Ramificación de Planificación Diversa para Escritura Creativa
DPWriter: Reinforcement Learning with Diverse Planning Branching for Creative Writing
January 14, 2026
Autores: Qian Cao, Yahui Liu, Wei Bi, Yi Zhao, Ruihua Song, Xiting Wang, Ruiming Tang, Guorui Zhou, Han Li
cs.AI
Resumen
La mejora de modelos de lenguaje grande (LLM) basada en aprendizaje por refuerzo (RL) a menudo conduce a una reducción en la diversidad de las salidas, lo que socava su utilidad en tareas de final abierto como la escritura creativa. Los métodos actuales carecen de mecanismos explícitos para guiar una exploración diversa y, en su lugar, priorizan la eficiencia de optimización y el rendimiento sobre la diversidad. Este artículo propone un marco de RL estructurado en torno a una Cadena de Pensamiento (CoT) larga y semiestructurada, en la que el proceso de generación se descompone en pasos intermedios explícitamente planificados. Introducimos un método de Ramificación de Planificación Diversa que introduce estratégicamente divergencia en la fase de planificación basándose en la variación de la diversidad, junto con una recompensa de diversidad consciente del grupo para fomentar trayectorias distintas. Los resultados experimentales en benchmarks de escritura creativa demuestran que nuestro enfoque mejora significativamente la diversidad de las salidas sin comprometer la calidad de la generación, superando consistentemente a los baselines existentes.
English
Reinforcement learning (RL)-based enhancement of large language models (LLMs) often leads to reduced output diversity, undermining their utility in open-ended tasks like creative writing. Current methods lack explicit mechanisms for guiding diverse exploration and instead prioritize optimization efficiency and performance over diversity. This paper proposes an RL framework structured around a semi-structured long Chain-of-Thought (CoT), in which the generation process is decomposed into explicitly planned intermediate steps. We introduce a Diverse Planning Branching method that strategically introduces divergence at the planning phase based on diversity variation, alongside a group-aware diversity reward to encourage distinct trajectories. Experimental results on creative writing benchmarks demonstrate that our approach significantly improves output diversity without compromising generation quality, consistently outperforming existing baselines.