言語モデルは、長いテキストを生成するために自己延長することができます。

Language Models can Self-Lengthen to Generate Long Texts

October 31, 2024

著者: Shanghaoran Quan, Tianyi Tang, Bowen Yu, An Yang, Dayiheng Liu, Bofei Gao, Jianhong Tu, Yichang Zhang, Jingren Zhou, Junyang Lin

cs.AI

要旨

最近の大規模言語モデル（LLMs）の進歩により、長い文脈を処理する能力が大幅に向上しましたが、長い整合した出力を生成する際にはまだ著しいギャップが存在しています。この制限は、事前トレーニングが長文生成に効果的な指示を欠いており、事後トレーニングデータが主に短いクエリ-レスポンスペアで構成されているというトレーニングギャップに由来しています。指示逆変換や振る舞い模倣などの現在のアプローチは、データ品質、著作権問題、専用モデルの使用制約などの課題に直面しています。本論文では、補助データや専用モデルの必要がなく、LLMsの固有の知識とスキルのみを活用する革新的な反復トレーニングフレームワークであるSelf-Lengthenを紹介します。このフレームワークは、GeneratorとExtenderの2つの役割で構成されています。Generatorは初期応答を生成し、それをExtenderが分割して拡張します。このプロセスにより、新しい、より長い応答が生成され、これを用いてGeneratorとExtenderの両方を反復的にトレーニングします。このプロセスにより、モデルは徐々により長い応答を処理するようにトレーニングされます。ベンチマークと人間の評価実験によると、Self-Lengthenは、Qwen2やLLaMA3などのトップオープンソースのLLMsに適用した場合に、長文生成において既存の手法を上回ることが示されました。当該コードは、https://github.com/QwenLM/Self-Lengthen で公開されています。

English

Recent advancements in Large Language Models (LLMs) have significantly enhanced their ability to process long contexts, yet a notable gap remains in generating long, aligned outputs. This limitation stems from a training gap where pre-training lacks effective instructions for long-text generation, and post-training data primarily consists of short query-response pairs. Current approaches, such as instruction backtranslation and behavior imitation, face challenges including data quality, copyright issues, and constraints on proprietary model usage. In this paper, we introduce an innovative iterative training framework called Self-Lengthen that leverages only the intrinsic knowledge and skills of LLMs without the need for auxiliary data or proprietary models. The framework consists of two roles: the Generator and the Extender. The Generator produces the initial response, which is then split and expanded by the Extender. This process results in a new, longer response, which is used to train both the Generator and the Extender iteratively. Through this process, the models are progressively trained to handle increasingly longer responses. Experiments on benchmarks and human evaluations show that Self-Lengthen outperforms existing methods in long-text generation, when applied to top open-source LLMs such as Qwen2 and LLaMA3. Our code is publicly available at https://github.com/QwenLM/Self-Lengthen.