SuperWriter : Génération de textes longs pilotée par la réflexion avec des modèles de langage à grande échelle

SuperWriter: Reflection-Driven Long-Form Generation with Large Language Models

June 4, 2025

Auteurs: Yuhao Wu, Yushi Bai, Zhiqiang Hu, Juanzi Li, Roy Ka-Wei Lee

cs.AI

Résumé

La génération de textes longs reste un défi majeur pour les grands modèles de langage (LLMs), en particulier pour maintenir la cohérence, assurer la consistance logique et préserver la qualité du texte à mesure que la longueur des séquences augmente. Pour répondre à ces limitations, nous proposons SuperWriter-Agent, un framework basé sur des agents conçu pour améliorer la qualité et la consistance de la génération de textes longs. SuperWriter-Agent introduit une réflexion structurée explicite à travers des étapes de planification et de raffinement dans le pipeline de génération, guidant le modèle à suivre un processus plus réfléchi et cognitivement ancré, similaire à celui d'un écrivain professionnel. Sur la base de ce framework, nous construisons un ensemble de données de fine-tuning supervisé pour entraîner un SuperWriter-LM de 7B. Nous développons en outre une procédure hiérarchique d'Optimisation Directe des Préférences (DPO) qui utilise la Recherche d'Arbre de Monte Carlo (MCTS) pour propager les évaluations finales de qualité et optimiser chaque étape de génération en conséquence. Les résultats empiriques sur divers benchmarks démontrent que SuperWriter-LM atteint des performances de pointe, surpassant même des modèles de base à plus grande échelle dans les évaluations automatiques et humaines. De plus, des études d'ablation approfondies montrent l'efficacité de la DPO hiérarchique et soulignent la valeur de l'intégration d'étapes de réflexion structurée pour améliorer la qualité de la génération de textes longs.

English

Long-form text generation remains a significant challenge for large language models (LLMs), particularly in maintaining coherence, ensuring logical consistency, and preserving text quality as sequence length increases. To address these limitations, we propose SuperWriter-Agent, an agent-based framework designed to enhance the quality and consistency of long-form text generation. SuperWriter-Agent introduces explicit structured thinking-through planning and refinement stages into the generation pipeline, guiding the model to follow a more deliberate and cognitively grounded process akin to that of a professional writer. Based on this framework, we construct a supervised fine-tuning dataset to train a 7B SuperWriter-LM. We further develop a hierarchical Direct Preference Optimization (DPO) procedure that uses Monte Carlo Tree Search (MCTS) to propagate final quality assessments and optimize each generation step accordingly. Empirical results across diverse benchmarks demonstrate that SuperWriter-LM achieves state-of-the-art performance, surpassing even larger-scale baseline models in both automatic evaluation and human evaluation. Furthermore, comprehensive ablation studies demonstrate the effectiveness of hierarchical DPO and underscore the value of incorporating structured thinking steps to improve the quality of long-form text generation.