LongWriter-Zero: Освоение генерации сверхдлинных текстов с помощью обучения с подкреплением

LongWriter-Zero: Mastering Ultra-Long Text Generation via Reinforcement Learning

June 23, 2025

Авторы: Yuhao Wu, Yushi Bai, Zhiqiang Hu, Roy Ka-Wei Lee, Juanzi Li

cs.AI

Аннотация

Создание сверхдлинных текстов с использованием больших языковых моделей (LLM) является широко востребованным сценарием, однако оно остается серьезной проблемой из-за ограничений на максимальную длину генерации и общего ухудшения качества по мере увеличения длины последовательности. Предыдущие подходы, такие как LongWriter, обычно полагаются на "обучение", которое включает в себя контролируемую тонкую настройку (SFT) на синтетических длинных текстах. Однако эта стратегия сильно зависит от синтетических данных для SFT, которые сложно и дорого создавать, часто лишены связности и последовательности, а также склонны быть чрезмерно искусственными и структурно однообразными. В данной работе мы предлагаем подход, основанный на стимулировании, который, начиная с нуля и не полагаясь на аннотированные или синтетические данные, использует обучение с подкреплением (RL) для развития способностей LLM к генерации сверхдлинных и качественных текстов. Мы проводим RL-обучение, начиная с базовой модели, аналогичной R1-Zero, направляя ее на рассуждения, которые способствуют планированию и улучшению в процессе написания. Для поддержки этого мы используем специализированные модели вознаграждения, которые направляют LLM на улучшение контроля длины, качества написания и структурного форматирования. Экспериментальные оценки показывают, что наша модель LongWriter-Zero, обученная на основе Qwen2.5-32B, стабильно превосходит традиционные методы SFT в задачах создания длинных текстов, достигая наилучших результатов по всем метрикам на WritingBench и Arena-Write, и даже превосходя модели с более чем 100 миллиардами параметров, такие как DeepSeek R1 и Qwen3-235B. Мы открываем исходные данные и контрольные точки модели по адресу https://huggingface.co/THU-KEG/LongWriter-Zero-32B.

English

Ultra-long generation by large language models (LLMs) is a widely demanded scenario, yet it remains a significant challenge due to their maximum generation length limit and overall quality degradation as sequence length increases. Previous approaches, exemplified by LongWriter, typically rely on ''teaching'', which involves supervised fine-tuning (SFT) on synthetic long-form outputs. However, this strategy heavily depends on synthetic SFT data, which is difficult and costly to construct, often lacks coherence and consistency, and tends to be overly artificial and structurally monotonous. In this work, we propose an incentivization-based approach that, starting entirely from scratch and without relying on any annotated or synthetic data, leverages reinforcement learning (RL) to foster the emergence of ultra-long, high-quality text generation capabilities in LLMs. We perform RL training starting from a base model, similar to R1-Zero, guiding it to engage in reasoning that facilitates planning and refinement during the writing process. To support this, we employ specialized reward models that steer the LLM towards improved length control, writing quality, and structural formatting. Experimental evaluations show that our LongWriter-Zero model, trained from Qwen2.5-32B, consistently outperforms traditional SFT methods on long-form writing tasks, achieving state-of-the-art results across all metrics on WritingBench and Arena-Write, and even surpassing 100B+ models such as DeepSeek R1 and Qwen3-235B. We open-source our data and model checkpoints under https://huggingface.co/THU-KEG/LongWriter-Zero-32B