LOGO -- Alinhamento de Contexto Longo via Otimização Eficiente de Preferências

LOGO -- Long cOntext aliGnment via efficient preference Optimization

October 24, 2024

Autores: Zecheng Tang, Zechen Sun, Juntao Li, Qiaoming Zhu, Min Zhang

cs.AI

Resumo

Os modelos de longo contexto (LCMs) têm mostrado grande potencial no processamento de sequências de entrada longas (até mais de 100 mil tokens) de forma conveniente e eficaz. Com progressos significativos, pesquisas recentes apontaram que os LCMs podem localizar com precisão informações salientes a nível de token dentro do contexto. No entanto, o desempenho de geração desses LCMs ainda está longe de ser satisfatório e pode resultar em respostas desalinhadas, como alucinações. Para aprimorar a capacidade de geração dos LCMs, trabalhos existentes têm investigado os efeitos do tamanho e da qualidade dos dados tanto para pré-treinamento quanto para ajuste de instruções. Embora tenham alcançado melhorias significativas, os métodos anteriores falham em eficácia ou eficiência. Neste artigo, apresentamos o LOGO (Alinhamento de Longo Contexto via Otimização Eficiente de Preferência), uma estratégia de treinamento que introduz inicialmente a otimização de preferência para o alinhamento de longo contexto. Para superar o problema de limitação de memória da GPU causado pela sequência longa, o LOGO emprega uma estratégia de otimização de preferência sem referência e adota um método de síntese de posição para construir os dados de treinamento. Ao ser treinado com apenas 0,3 bilhão de dados em uma única máquina GPU 8xA800 por 16 horas, o LOGO permite que o modelo Llama-3-8B-Instruct-80K alcance um desempenho comparável ao do GPT-4 em tarefas do mundo real de longo contexto, preservando as capacidades originais do modelo em outras tarefas, como modelagem de linguagem e MMLU. Além disso, o LOGO pode ampliar o tamanho da janela de contexto do modelo enquanto aprimora seu desempenho de geração.

English

Long-context models(LCMs) have shown great potential in processing long input sequences(even more than 100M tokens) conveniently and effectively. With significant progress, recent research has pointed out that LCMs can accurately locate token-level salient information within the context. Yet, the generation performance of these LCMs is far from satisfactory and might result in misaligned responses, such as hallucinations. To enhance the generation capability of LCMs, existing works have investigated the effects of data size and quality for both pre-training and instruction tuning. Though achieving meaningful improvement, previous methods fall short in either effectiveness or efficiency. In this paper, we introduce LOGO(Long cOntext aliGnment via efficient preference Optimization), a training strategy that first introduces preference optimization for long-context alignment. To overcome the GPU memory-bound issue caused by the long sequence, LOGO employs a reference-free preference optimization strategy and adopts a position synthesis method to construct the training data. By training with only 0.3B data on a single 8timesA800 GPU machine for 16 hours, LOGO allows the Llama-3-8B-Instruct-80K model to achieve comparable performance with GPT-4 in real-world long-context tasks while preserving the model's original capabilities on other tasks, e.g., language modeling and MMLU. Moreover, LOGO can extend the model's context window size while enhancing its generation performance.