Modelos de Linguagem podem se Autoestender para Gerar Textos Longos

Language Models can Self-Lengthen to Generate Long Texts

October 31, 2024

Autores: Shanghaoran Quan, Tianyi Tang, Bowen Yu, An Yang, Dayiheng Liu, Bofei Gao, Jianhong Tu, Yichang Zhang, Jingren Zhou, Junyang Lin

cs.AI

Resumo

Os avanços recentes em Modelos de Linguagem Grandes (LLMs) melhoraram significativamente sua capacidade de processar contextos longos, no entanto, ainda existe uma lacuna notável na geração de saídas longas e alinhadas. Essa limitação decorre de uma lacuna no treinamento, onde a pré-treinamento carece de instruções eficazes para geração de texto longo, e os dados pós-treinamento consistem principalmente de pares curtos de consulta-resposta. Abordagens atuais, como retrotradução de instruções e imitação de comportamento, enfrentam desafios, incluindo qualidade dos dados, questões de direitos autorais e restrições no uso de modelos proprietários. Neste artigo, apresentamos um inovador framework de treinamento iterativo chamado Auto-Alongamento que aproveita apenas o conhecimento intrínseco e as habilidades dos LLMs sem a necessidade de dados auxiliares ou modelos proprietários. O framework consiste em dois papéis: o Gerador e o Ampliador. O Gerador produz a resposta inicial, que é então dividida e expandida pelo Ampliador. Esse processo resulta em uma nova resposta mais longa, que é usada para treinar tanto o Gerador quanto o Ampliador de forma iterativa. Através desse processo, os modelos são treinados progressivamente para lidar com respostas cada vez mais longas. Experimentos em benchmarks e avaliações humanas mostram que o Auto-Alongamento supera os métodos existentes na geração de texto longo, quando aplicado aos principais LLMs de código aberto, como Qwen2 e LLaMA3. Nosso código está publicamente disponível em https://github.com/QwenLM/Self-Lengthen.

English

Recent advancements in Large Language Models (LLMs) have significantly enhanced their ability to process long contexts, yet a notable gap remains in generating long, aligned outputs. This limitation stems from a training gap where pre-training lacks effective instructions for long-text generation, and post-training data primarily consists of short query-response pairs. Current approaches, such as instruction backtranslation and behavior imitation, face challenges including data quality, copyright issues, and constraints on proprietary model usage. In this paper, we introduce an innovative iterative training framework called Self-Lengthen that leverages only the intrinsic knowledge and skills of LLMs without the need for auxiliary data or proprietary models. The framework consists of two roles: the Generator and the Extender. The Generator produces the initial response, which is then split and expanded by the Extender. This process results in a new, longer response, which is used to train both the Generator and the Extender iteratively. Through this process, the models are progressively trained to handle increasingly longer responses. Experiments on benchmarks and human evaluations show that Self-Lengthen outperforms existing methods in long-text generation, when applied to top open-source LLMs such as Qwen2 and LLaMA3. Our code is publicly available at https://github.com/QwenLM/Self-Lengthen.