ChatPaper.aiChatPaper

LongWriter-Zero: Padroneggiare la Generazione di Testi Ultra-Lunghi tramite Apprendimento per Rinforzo

LongWriter-Zero: Mastering Ultra-Long Text Generation via Reinforcement Learning

June 23, 2025
Autori: Yuhao Wu, Yushi Bai, Zhiqiang Hu, Roy Ka-Wei Lee, Juanzi Li
cs.AI

Abstract

La generazione ultra-lunga da parte di modelli linguistici di grandi dimensioni (LLM) è uno scenario ampiamente richiesto, ma rimane una sfida significativa a causa del limite massimo di lunghezza di generazione e del degrado complessivo della qualità all'aumentare della lunghezza della sequenza. Approcci precedenti, come LongWriter, si basano tipicamente su un "insegnamento" che prevede il fine-tuning supervisionato (SFT) su output sintetici di forma lunga. Tuttavia, questa strategia dipende fortemente da dati SFT sintetici, che sono difficili e costosi da costruire, spesso mancano di coerenza e consistenza, e tendono a essere eccessivamente artificiali e strutturalmente monotoni. In questo lavoro, proponiamo un approccio basato sull'incentivazione che, partendo completamente da zero e senza fare affidamento su dati annotati o sintetici, sfrutta l'apprendimento per rinforzo (RL) per favorire l'emergere di capacità di generazione di testi ultra-lunghi e di alta qualità negli LLM. Eseguiamo l'addestramento RL partendo da un modello di base, simile a R1-Zero, guidandolo a impegnarsi in ragionamenti che facilitano la pianificazione e il perfezionamento durante il processo di scrittura. Per supportare ciò, utilizziamo modelli di ricompensa specializzati che indirizzano l'LLM verso un migliore controllo della lunghezza, qualità della scrittura e formattazione strutturale. Le valutazioni sperimentali mostrano che il nostro modello LongWriter-Zero, addestrato a partire da Qwen2.5-32B, supera costantemente i tradizionali metodi SFT nei compiti di scrittura di forma lunga, ottenendo risultati all'avanguardia in tutte le metriche su WritingBench e Arena-Write, e superando persino modelli da 100B+ come DeepSeek R1 e Qwen3-235B. Rendiamo disponibili i nostri dati e i checkpoint del modello su https://huggingface.co/THU-KEG/LongWriter-Zero-32B.
English
Ultra-long generation by large language models (LLMs) is a widely demanded scenario, yet it remains a significant challenge due to their maximum generation length limit and overall quality degradation as sequence length increases. Previous approaches, exemplified by LongWriter, typically rely on ''teaching'', which involves supervised fine-tuning (SFT) on synthetic long-form outputs. However, this strategy heavily depends on synthetic SFT data, which is difficult and costly to construct, often lacks coherence and consistency, and tends to be overly artificial and structurally monotonous. In this work, we propose an incentivization-based approach that, starting entirely from scratch and without relying on any annotated or synthetic data, leverages reinforcement learning (RL) to foster the emergence of ultra-long, high-quality text generation capabilities in LLMs. We perform RL training starting from a base model, similar to R1-Zero, guiding it to engage in reasoning that facilitates planning and refinement during the writing process. To support this, we employ specialized reward models that steer the LLM towards improved length control, writing quality, and structural formatting. Experimental evaluations show that our LongWriter-Zero model, trained from Qwen2.5-32B, consistently outperforms traditional SFT methods on long-form writing tasks, achieving state-of-the-art results across all metrics on WritingBench and Arena-Write, and even surpassing 100B+ models such as DeepSeek R1 and Qwen3-235B. We open-source our data and model checkpoints under https://huggingface.co/THU-KEG/LongWriter-Zero-32B
PDF544June 24, 2025