Los modelos de lenguaje pueden alargarse automáticamente para generar textos largos.

Language Models can Self-Lengthen to Generate Long Texts

October 31, 2024

Autores: Shanghaoran Quan, Tianyi Tang, Bowen Yu, An Yang, Dayiheng Liu, Bofei Gao, Jianhong Tu, Yichang Zhang, Jingren Zhou, Junyang Lin

cs.AI

Resumen

Los avances recientes en Modelos de Lenguaje Grandes (LLMs) han mejorado significativamente su capacidad para procesar contextos largos, sin embargo, aún existe una brecha notable en la generación de salidas largas y alineadas. Esta limitación se origina en una brecha de entrenamiento donde el pre-entrenamiento carece de instrucciones efectivas para la generación de texto largo, y los datos posteriores al entrenamiento consisten principalmente en pares de consulta-respuesta cortos. Enfoques actuales, como la retrotraducción de instrucciones y la imitación de comportamiento, enfrentan desafíos que incluyen la calidad de los datos, problemas de derechos de autor y limitaciones en el uso de modelos propietarios. En este documento, presentamos un innovador marco de entrenamiento iterativo llamado Auto-Alargamiento que aprovecha únicamente el conocimiento intrínseco y las habilidades de los LLMs sin necesidad de datos auxiliares o modelos propietarios. El marco consta de dos roles: el Generador y el Ampliador. El Generador produce la respuesta inicial, la cual luego es dividida y ampliada por el Ampliador. Este proceso resulta en una nueva respuesta más larga, que se utiliza para entrenar tanto al Generador como al Ampliador de manera iterativa. A través de este proceso, los modelos son entrenados progresivamente para manejar respuestas cada vez más largas. Experimentos en benchmarks y evaluaciones humanas muestran que Auto-Alargamiento supera a los métodos existentes en la generación de texto largo, cuando se aplica a los mejores LLMs de código abierto como Qwen2 y LLaMA3. Nuestro código está disponible públicamente en https://github.com/QwenLM/Self-Lengthen.

English

Recent advancements in Large Language Models (LLMs) have significantly enhanced their ability to process long contexts, yet a notable gap remains in generating long, aligned outputs. This limitation stems from a training gap where pre-training lacks effective instructions for long-text generation, and post-training data primarily consists of short query-response pairs. Current approaches, such as instruction backtranslation and behavior imitation, face challenges including data quality, copyright issues, and constraints on proprietary model usage. In this paper, we introduce an innovative iterative training framework called Self-Lengthen that leverages only the intrinsic knowledge and skills of LLMs without the need for auxiliary data or proprietary models. The framework consists of two roles: the Generator and the Extender. The Generator produces the initial response, which is then split and expanded by the Extender. This process results in a new, longer response, which is used to train both the Generator and the Extender iteratively. Through this process, the models are progressively trained to handle increasingly longer responses. Experiments on benchmarks and human evaluations show that Self-Lengthen outperforms existing methods in long-text generation, when applied to top open-source LLMs such as Qwen2 and LLaMA3. Our code is publicly available at https://github.com/QwenLM/Self-Lengthen.