SuperWriter: Reflexionsgesteuerte Langform-Generierung mit großen Sprachmodellen

SuperWriter: Reflection-Driven Long-Form Generation with Large Language Models

June 4, 2025

Autoren: Yuhao Wu, Yushi Bai, Zhiqiang Hu, Juanzi Li, Roy Ka-Wei Lee

cs.AI

Zusammenfassung

Die Erzeugung von Langtexten bleibt eine bedeutende Herausforderung für große Sprachmodelle (LLMs), insbesondere in Bezug auf die Aufrechterhaltung von Kohärenz, die Sicherstellung logischer Konsistenz und die Bewahrung der Textqualität bei zunehmender Sequenzlänge. Um diese Einschränkungen zu adressieren, schlagen wir SuperWriter-Agent vor, ein agentenbasiertes Framework, das darauf abzielt, die Qualität und Konsistenz der Langtextgenerierung zu verbessern. SuperWriter-Agent führt explizite strukturierte Denkprozesse durch Planungs- und Verfeinerungsphasen in den Generierungsprozess ein und leitet das Modell an, einen bewussteren und kognitiv fundierten Prozess zu durchlaufen, der dem eines professionellen Schriftstellers ähnelt. Basierend auf diesem Framework erstellen wir einen überwachten Feinabstimmungsdatensatz, um ein 7B SuperWriter-LM zu trainieren. Wir entwickeln weiterhin ein hierarchisches Direct Preference Optimization (DPO)-Verfahren, das Monte Carlo Tree Search (MCTS) verwendet, um abschließende Qualitätsbewertungen zu propagieren und jeden Generierungsschritt entsprechend zu optimieren. Empirische Ergebnisse über diverse Benchmarks hinweg zeigen, dass SuperWriter-LM state-of-the-art Leistungen erzielt und sowohl in automatisierten als auch in menschlichen Bewertungen größere Baseline-Modelle übertrifft. Darüber hinaus demonstrieren umfassende Ablationsstudien die Wirksamkeit des hierarchischen DPO und unterstreichen den Wert der Einbindung strukturierter Denkschritte zur Verbesserung der Qualität der Langtextgenerierung.

English

Long-form text generation remains a significant challenge for large language models (LLMs), particularly in maintaining coherence, ensuring logical consistency, and preserving text quality as sequence length increases. To address these limitations, we propose SuperWriter-Agent, an agent-based framework designed to enhance the quality and consistency of long-form text generation. SuperWriter-Agent introduces explicit structured thinking-through planning and refinement stages into the generation pipeline, guiding the model to follow a more deliberate and cognitively grounded process akin to that of a professional writer. Based on this framework, we construct a supervised fine-tuning dataset to train a 7B SuperWriter-LM. We further develop a hierarchical Direct Preference Optimization (DPO) procedure that uses Monte Carlo Tree Search (MCTS) to propagate final quality assessments and optimize each generation step accordingly. Empirical results across diverse benchmarks demonstrate that SuperWriter-LM achieves state-of-the-art performance, surpassing even larger-scale baseline models in both automatic evaluation and human evaluation. Furthermore, comprehensive ablation studies demonstrate the effectiveness of hierarchical DPO and underscore the value of incorporating structured thinking steps to improve the quality of long-form text generation.