ЛОГО — Длинное выравнивание контекста через эффективную оптимизацию предпочтений

LOGO -- Long cOntext aliGnment via efficient preference Optimization

October 24, 2024

Авторы: Zecheng Tang, Zechen Sun, Juntao Li, Qiaoming Zhu, Min Zhang

cs.AI

Аннотация

Модели с длинным контекстом (LCMs) показали большой потенциал в обработке длинных входных последовательностей (даже более 100 миллионов токенов) удобно и эффективно. С значительными успехами недавние исследования указали на то, что LCMs могут точно определять токен-уровневую значимую информацию в контексте. Однако производительность генерации этих LCMs далека от удовлетворительной и может привести к несоответствующим ответам, таким как галлюцинации. Для улучшения способности генерации LCMs существующие работы исследовали влияние размера и качества данных как для предварительного обучения, так и для настройки инструкций. Хотя достигается значительное улучшение, предыдущие методы либо недостаточно эффективны, либо неэффективны. В данной статье мы представляем LOGO (Длинное выравнивание контекста через эффективную оптимизацию предпочтений), стратегию обучения, которая сначала вводит оптимизацию предпочтений для выравнивания длинного контекста. Для преодоления проблемы, связанной с ограничением памяти GPU из-за длинной последовательности, LOGO использует стратегию оптимизации предпочтений без ссылок и применяет метод синтеза позиций для создания обучающих данных. Обучаясь только на 0,3 миллиарда данных на одной машине с GPU 8xA800 в течение 16 часов, LOGO позволяет модели Llama-3-8B-Instruct-80K достичь сравнимой производительности с GPT-4 в задачах реального мира с длинным контекстом, сохраняя при этом исходные возможности модели в других задачах, например, моделировании языка и MMLU. Более того, LOGO может расширить размер окна контекста модели, улучшая ее производительность генерации.

English

Long-context models(LCMs) have shown great potential in processing long input sequences(even more than 100M tokens) conveniently and effectively. With significant progress, recent research has pointed out that LCMs can accurately locate token-level salient information within the context. Yet, the generation performance of these LCMs is far from satisfactory and might result in misaligned responses, such as hallucinations. To enhance the generation capability of LCMs, existing works have investigated the effects of data size and quality for both pre-training and instruction tuning. Though achieving meaningful improvement, previous methods fall short in either effectiveness or efficiency. In this paper, we introduce LOGO(Long cOntext aliGnment via efficient preference Optimization), a training strategy that first introduces preference optimization for long-context alignment. To overcome the GPU memory-bound issue caused by the long sequence, LOGO employs a reference-free preference optimization strategy and adopts a position synthesis method to construct the training data. By training with only 0.3B data on a single 8timesA800 GPU machine for 16 hours, LOGO allows the Llama-3-8B-Instruct-80K model to achieve comparable performance with GPT-4 in real-world long-context tasks while preserving the model's original capabilities on other tasks, e.g., language modeling and MMLU. Moreover, LOGO can extend the model's context window size while enhancing its generation performance.