LongWriter-Zero: Dominando a Geração de Textos Ultra-Longos por meio de Aprendizado por Reforço

LongWriter-Zero: Mastering Ultra-Long Text Generation via Reinforcement Learning

June 23, 2025

Autores: Yuhao Wu, Yushi Bai, Zhiqiang Hu, Roy Ka-Wei Lee, Juanzi Li

cs.AI

Resumo

A geração ultra-longa por modelos de linguagem de grande escala (LLMs) é um cenário amplamente demandado, mas ainda representa um desafio significativo devido ao limite máximo de comprimento de geração e à degradação geral da qualidade à medida que o comprimento da sequência aumenta. Abordagens anteriores, exemplificadas pelo LongWriter, geralmente dependem de "ensino", que envolve ajuste fino supervisionado (SFT) em saídas sintéticas de longo formato. No entanto, essa estratégia depende fortemente de dados SFT sintéticos, que são difíceis e custosos de construir, muitas vezes carecem de coerência e consistência, e tendem a ser excessivamente artificiais e estruturalmente monótonos. Neste trabalho, propomos uma abordagem baseada em incentivos que, partindo inteiramente do zero e sem depender de dados anotados ou sintéticos, utiliza aprendizado por reforço (RL) para promover o surgimento de capacidades de geração de texto ultra-longo e de alta qualidade em LLMs. Realizamos o treinamento de RL a partir de um modelo base, semelhante ao R1-Zero, orientando-o a envolver-se em raciocínios que facilitam o planejamento e o refinamento durante o processo de escrita. Para apoiar isso, empregamos modelos de recompensa especializados que direcionam o LLM para um melhor controle de comprimento, qualidade de escrita e formatação estrutural. Avaliações experimentais mostram que nosso modelo LongWriter-Zero, treinado a partir do Qwen2.5-32B, supera consistentemente os métodos tradicionais de SFT em tarefas de escrita de longo formato, alcançando resultados de ponta em todas as métricas no WritingBench e no Arena-Write, e até mesmo superando modelos de 100B+ como o DeepSeek R1 e o Qwen3-235B. Disponibilizamos nossos dados e checkpoints do modelo em https://huggingface.co/THU-KEG/LongWriter-Zero-32B.

English

Ultra-long generation by large language models (LLMs) is a widely demanded scenario, yet it remains a significant challenge due to their maximum generation length limit and overall quality degradation as sequence length increases. Previous approaches, exemplified by LongWriter, typically rely on ''teaching'', which involves supervised fine-tuning (SFT) on synthetic long-form outputs. However, this strategy heavily depends on synthetic SFT data, which is difficult and costly to construct, often lacks coherence and consistency, and tends to be overly artificial and structurally monotonous. In this work, we propose an incentivization-based approach that, starting entirely from scratch and without relying on any annotated or synthetic data, leverages reinforcement learning (RL) to foster the emergence of ultra-long, high-quality text generation capabilities in LLMs. We perform RL training starting from a base model, similar to R1-Zero, guiding it to engage in reasoning that facilitates planning and refinement during the writing process. To support this, we employ specialized reward models that steer the LLM towards improved length control, writing quality, and structural formatting. Experimental evaluations show that our LongWriter-Zero model, trained from Qwen2.5-32B, consistently outperforms traditional SFT methods on long-form writing tasks, achieving state-of-the-art results across all metrics on WritingBench and Arena-Write, and even surpassing 100B+ models such as DeepSeek R1 and Qwen3-235B. We open-source our data and model checkpoints under https://huggingface.co/THU-KEG/LongWriter-Zero-32B