SuperWriter: Reflectie-Gestuurde Lange-Vorm Generatie met Grote Taalmodellen

SuperWriter: Reflection-Driven Long-Form Generation with Large Language Models

June 4, 2025

Auteurs: Yuhao Wu, Yushi Bai, Zhiqiang Hu, Juanzi Li, Roy Ka-Wei Lee

cs.AI

Samenvatting

Het genereren van lange teksten blijft een aanzienlijke uitdaging voor grote taalmodelen (LLMs), met name wat betreft het behouden van samenhang, het waarborgen van logische consistentie en het handhaven van tekstkwaliteit naarmate de sequentielengte toeneemt. Om deze beperkingen aan te pakken, stellen we SuperWriter-Agent voor, een agent-gebaseerd framework dat is ontworpen om de kwaliteit en consistentie van het genereren van lange teksten te verbeteren. SuperWriter-Agent introduceert expliciete gestructureerde denkprocessen via plannings- en verfijningsfasen in het generatiepijplijn, waardoor het model wordt geleid om een meer doordacht en cognitief onderbouwd proces te volgen, vergelijkbaar met dat van een professionele schrijver. Op basis van dit framework construeren we een supervised fine-tuning dataset om een 7B SuperWriter-LM te trainen. We ontwikkelen verder een hiërarchische Direct Preference Optimization (DPO) procedure die Monte Carlo Tree Search (MCTS) gebruikt om eindkwaliteitsbeoordelingen door te voeren en elke generatiestap dienovereenkomstig te optimaliseren. Empirische resultaten over diverse benchmarks tonen aan dat SuperWriter-LM state-of-the-art prestaties bereikt, en zelfs grootschalige baseline-modellen overtreft in zowel automatische evaluatie als menselijke evaluatie. Bovendien demonstreren uitgebreide ablatiestudies de effectiviteit van hiërarchische DPO en benadrukken ze de waarde van het incorporeren van gestructureerde denkstappen om de kwaliteit van het genereren van lange teksten te verbeteren.

English

Long-form text generation remains a significant challenge for large language models (LLMs), particularly in maintaining coherence, ensuring logical consistency, and preserving text quality as sequence length increases. To address these limitations, we propose SuperWriter-Agent, an agent-based framework designed to enhance the quality and consistency of long-form text generation. SuperWriter-Agent introduces explicit structured thinking-through planning and refinement stages into the generation pipeline, guiding the model to follow a more deliberate and cognitively grounded process akin to that of a professional writer. Based on this framework, we construct a supervised fine-tuning dataset to train a 7B SuperWriter-LM. We further develop a hierarchical Direct Preference Optimization (DPO) procedure that uses Monte Carlo Tree Search (MCTS) to propagate final quality assessments and optimize each generation step accordingly. Empirical results across diverse benchmarks demonstrate that SuperWriter-LM achieves state-of-the-art performance, surpassing even larger-scale baseline models in both automatic evaluation and human evaluation. Furthermore, comprehensive ablation studies demonstrate the effectiveness of hierarchical DPO and underscore the value of incorporating structured thinking steps to improve the quality of long-form text generation.