SuperWriter: Рефлексивное создание длинных текстов с использованием крупных языковых моделей

SuperWriter: Reflection-Driven Long-Form Generation with Large Language Models

June 4, 2025

Авторы: Yuhao Wu, Yushi Bai, Zhiqiang Hu, Juanzi Li, Roy Ka-Wei Lee

cs.AI

Аннотация

Генерация длинных текстов остается серьезной проблемой для больших языковых моделей (LLM), особенно в поддержании связности, обеспечении логической согласованности и сохранении качества текста по мере увеличения длины последовательности. Для преодоления этих ограничений мы предлагаем SuperWriter-Agent — агентно-ориентированную структуру, предназначенную для повышения качества и согласованности генерации длинных текстов. SuperWriter-Agent вводит явные этапы структурированного мышления, включая планирование и уточнение, в процесс генерации, направляя модель на более осознанный и когнитивно обоснованный процесс, аналогичный процессу профессионального писателя. На основе этой структуры мы создаем набор данных для контролируемого тонкого обучения, чтобы обучить модель SuperWriter-LM объемом 7 миллиардов параметров. Мы также разрабатываем иерархическую процедуру Direct Preference Optimization (DPO), которая использует метод поиска по дереву Монте-Карло (MCTS) для распространения итоговых оценок качества и оптимизации каждого шага генерации. Эмпирические результаты на различных тестовых наборах демонстрируют, что SuperWriter-LM достигает наилучших показателей, превосходя даже более крупные базовые модели как в автоматической, так и в человеческой оценке. Кроме того, всесторонние исследования методом исключения подтверждают эффективность иерархической DPO и подчеркивают ценность включения этапов структурированного мышления для повышения качества генерации длинных текстов.

English

Long-form text generation remains a significant challenge for large language models (LLMs), particularly in maintaining coherence, ensuring logical consistency, and preserving text quality as sequence length increases. To address these limitations, we propose SuperWriter-Agent, an agent-based framework designed to enhance the quality and consistency of long-form text generation. SuperWriter-Agent introduces explicit structured thinking-through planning and refinement stages into the generation pipeline, guiding the model to follow a more deliberate and cognitively grounded process akin to that of a professional writer. Based on this framework, we construct a supervised fine-tuning dataset to train a 7B SuperWriter-LM. We further develop a hierarchical Direct Preference Optimization (DPO) procedure that uses Monte Carlo Tree Search (MCTS) to propagate final quality assessments and optimize each generation step accordingly. Empirical results across diverse benchmarks demonstrate that SuperWriter-LM achieves state-of-the-art performance, surpassing even larger-scale baseline models in both automatic evaluation and human evaluation. Furthermore, comprehensive ablation studies demonstrate the effectiveness of hierarchical DPO and underscore the value of incorporating structured thinking steps to improve the quality of long-form text generation.