LongWriter-Zero: Beherrschung der Ultra-Langen Textgenerierung durch Reinforcement Learning

Zusammenfassung

Die Erzeugung ultra-langer Texte durch große Sprachmodelle (LLMs) ist ein weit verbreitetes Anwendungsszenario, stellt jedoch aufgrund der maximalen Generierungslänge und der allgemeinen Qualitätsverschlechterung bei zunehmender Sequenzlänge eine erhebliche Herausforderung dar. Bisherige Ansätze, wie beispielsweise LongWriter, basieren typischerweise auf „Lehrmethoden“, die eine überwachte Feinabstimmung (Supervised Fine-Tuning, SFT) auf synthetischen Langform-Ausgaben beinhalten. Diese Strategie ist jedoch stark von synthetischen SFT-Daten abhängig, die schwierig und kostspielig zu erstellen sind, oft an Kohärenz und Konsistenz mangeln und tendenziell zu künstlich und strukturell monoton wirken. In dieser Arbeit schlagen wir einen anreizbasierten Ansatz vor, der vollständig von Grund auf und ohne Verwendung von annotierten oder synthetischen Daten auf Reinforcement Learning (RL) setzt, um die Fähigkeit zur Erzeugung ultra-langer, hochwertiger Texte in LLMs zu fördern. Wir führen RL-Training ausgehend von einem Basismodell, ähnlich wie R1-Zero, durch und leiten es an, Überlegungen anzustellen, die Planung und Verfeinerung während des Schreibprozesses unterstützen. Um dies zu ermöglichen, verwenden wir spezialisierte Belohnungsmodelle, die das LLM in Richtung verbesserter Längensteuerung, Schreibqualität und struktureller Formatierung lenken. Experimentelle Auswertungen zeigen, dass unser LongWriter-Zero-Modell, trainiert auf Qwen2.5-32B, traditionelle SFT-Methoden bei Langform-Schreibaufgaben durchgehend übertrifft und auf WritingBench und Arena-Write in allen Metriken state-of-the-art Ergebnisse erzielt, wobei es sogar 100B+ Modelle wie DeepSeek R1 und Qwen3-235B übertrifft. Wir stellen unsere Daten und Modell-Checkpoints unter https://huggingface.co/THU-KEG/LongWriter-Zero-32B als Open Source zur Verfügung.

English

Ultra-long generation by large language models (LLMs) is a widely demanded scenario, yet it remains a significant challenge due to their maximum generation length limit and overall quality degradation as sequence length increases. Previous approaches, exemplified by LongWriter, typically rely on ''teaching'', which involves supervised fine-tuning (SFT) on synthetic long-form outputs. However, this strategy heavily depends on synthetic SFT data, which is difficult and costly to construct, often lacks coherence and consistency, and tends to be overly artificial and structurally monotonous. In this work, we propose an incentivization-based approach that, starting entirely from scratch and without relying on any annotated or synthetic data, leverages reinforcement learning (RL) to foster the emergence of ultra-long, high-quality text generation capabilities in LLMs. We perform RL training starting from a base model, similar to R1-Zero, guiding it to engage in reasoning that facilitates planning and refinement during the writing process. To support this, we employ specialized reward models that steer the LLM towards improved length control, writing quality, and structural formatting. Experimental evaluations show that our LongWriter-Zero model, trained from Qwen2.5-32B, consistently outperforms traditional SFT methods on long-form writing tasks, achieving state-of-the-art results across all metrics on WritingBench and Arena-Write, and even surpassing 100B+ models such as DeepSeek R1 and Qwen3-235B. We open-source our data and model checkpoints under https://huggingface.co/THU-KEG/LongWriter-Zero-32B

LongWriter-Zero: Beherrschung der Ultra-Langen Textgenerierung durch Reinforcement Learning

LongWriter-Zero: Mastering Ultra-Long Text Generation via Reinforcement Learning

Zusammenfassung

Support