ロゴ -- 長い文脈の整列を効率的な選好最適化によって行う

LOGO -- Long cOntext aliGnment via efficient preference Optimization

October 24, 2024

著者: Zecheng Tang, Zechen Sun, Juntao Li, Qiaoming Zhu, Min Zhang

cs.AI

要旨

長いコンテキストモデル（LCMs）は、100Mトークンを超える長い入力シーケンスを便利かつ効果的に処理する潜在能力を示しています。重要な進展により、最近の研究では、LCMsがコンテキスト内でトークンレベルの重要な情報を正確に特定できることが指摘されています。しかし、これらのLCMsの生成性能は十分ではなく、幻覚などの位置ずれした応答を引き起こす可能性があります。LCMsの生成能力を向上させるために、既存の研究では、事前トレーニングと指示調整の両方におけるデータサイズと品質の影響を調査してきました。意義ある改善を達成してきましたが、以前の手法は効果または効率のいずれかで不十分であることがあります。本論文では、長いコンテキストの整合性を効率的に最適化するためのトレーニング戦略であるLOGO（Long cOntext aliGnment via efficient preference Optimization）を紹介します。長いシーケンスによって引き起こされるGPUメモリに制約される問題を克服するために、LOGOはリファレンスフリーな優先度最適化戦略を採用し、位置合成法を採用してトレーニングデータを構築します。8timesA800 GPUマシンで16時間かけてわずか0.3Bのデータでトレーニングすることで、LOGOはLlama-3-8B-Instruct-80KモデルをGPT-4と実世界の長いコンテキストタスクで比較可能な性能に達成させ、他のタスク（例：言語モデリングおよびMMLU）におけるモデルの元々の能力を維持しながら、生成性能を向上させることができます。

English

Long-context models(LCMs) have shown great potential in processing long input sequences(even more than 100M tokens) conveniently and effectively. With significant progress, recent research has pointed out that LCMs can accurately locate token-level salient information within the context. Yet, the generation performance of these LCMs is far from satisfactory and might result in misaligned responses, such as hallucinations. To enhance the generation capability of LCMs, existing works have investigated the effects of data size and quality for both pre-training and instruction tuning. Though achieving meaningful improvement, previous methods fall short in either effectiveness or efficiency. In this paper, we introduce LOGO(Long cOntext aliGnment via efficient preference Optimization), a training strategy that first introduces preference optimization for long-context alignment. To overcome the GPU memory-bound issue caused by the long sequence, LOGO employs a reference-free preference optimization strategy and adopts a position synthesis method to construct the training data. By training with only 0.3B data on a single 8timesA800 GPU machine for 16 hours, LOGO allows the Llama-3-8B-Instruct-80K model to achieve comparable performance with GPT-4 in real-world long-context tasks while preserving the model's original capabilities on other tasks, e.g., language modeling and MMLU. Moreover, LOGO can extend the model's context window size while enhancing its generation performance.