SuperWriter: Generazione di Testi Lunghi Guidata dalla Riflessione con Modelli Linguistici di Grande Scala

SuperWriter: Reflection-Driven Long-Form Generation with Large Language Models

June 4, 2025

Autori: Yuhao Wu, Yushi Bai, Zhiqiang Hu, Juanzi Li, Roy Ka-Wei Lee

cs.AI

Abstract

La generazione di testi lunghi rimane una sfida significativa per i grandi modelli linguistici (LLM), in particolare nel mantenere la coerenza, garantire la consistenza logica e preservare la qualità del testo all'aumentare della lunghezza della sequenza. Per affrontare queste limitazioni, proponiamo SuperWriter-Agent, un framework basato su agenti progettato per migliorare la qualità e la consistenza della generazione di testi lunghi. SuperWriter-Agent introduce esplicite fasi strutturate di pianificazione e raffinamento nel processo di generazione, guidando il modello a seguire un processo più deliberato e cognitivamente fondato, simile a quello di uno scrittore professionista. Basandoci su questo framework, costruiamo un dataset di fine-tuning supervisionato per addestrare un SuperWriter-LM da 7B. Sviluppiamo inoltre una procedura gerarchica di Ottimizzazione Diretta delle Preferenze (DPO) che utilizza la Ricerca ad Albero Monte Carlo (MCTS) per propagare le valutazioni finali della qualità e ottimizzare di conseguenza ogni fase di generazione. I risultati empirici su diversi benchmark dimostrano che SuperWriter-LM raggiunge prestazioni all'avanguardia, superando anche modelli di base di scala maggiore sia nelle valutazioni automatiche che in quelle umane. Inoltre, studi di ablazione completi dimostrano l'efficacia della DPO gerarchica e sottolineano il valore dell'incorporazione di passaggi di pensiero strutturato per migliorare la qualità della generazione di testi lunghi.

English

Long-form text generation remains a significant challenge for large language models (LLMs), particularly in maintaining coherence, ensuring logical consistency, and preserving text quality as sequence length increases. To address these limitations, we propose SuperWriter-Agent, an agent-based framework designed to enhance the quality and consistency of long-form text generation. SuperWriter-Agent introduces explicit structured thinking-through planning and refinement stages into the generation pipeline, guiding the model to follow a more deliberate and cognitively grounded process akin to that of a professional writer. Based on this framework, we construct a supervised fine-tuning dataset to train a 7B SuperWriter-LM. We further develop a hierarchical Direct Preference Optimization (DPO) procedure that uses Monte Carlo Tree Search (MCTS) to propagate final quality assessments and optimize each generation step accordingly. Empirical results across diverse benchmarks demonstrate that SuperWriter-LM achieves state-of-the-art performance, surpassing even larger-scale baseline models in both automatic evaluation and human evaluation. Furthermore, comprehensive ablation studies demonstrate the effectiveness of hierarchical DPO and underscore the value of incorporating structured thinking steps to improve the quality of long-form text generation.