LOGO -- Alineación de Contexto Largo a través de Optimización Eficiente de Preferencias

LOGO -- Long cOntext aliGnment via efficient preference Optimization

October 24, 2024

Autores: Zecheng Tang, Zechen Sun, Juntao Li, Qiaoming Zhu, Min Zhang

cs.AI

Resumen

Los modelos de contexto largo (LCMs) han demostrado un gran potencial en el procesamiento de secuencias de entrada largas (incluso más de 100 millones de tokens) de manera conveniente y efectiva. Con un progreso significativo, investigaciones recientes han señalado que los LCMs pueden localizar con precisión información relevante a nivel de token dentro del contexto. Sin embargo, el rendimiento generativo de estos LCMs está lejos de ser satisfactorio y podría resultar en respuestas desalineadas, como alucinaciones. Para mejorar la capacidad generativa de los LCMs, trabajos existentes han investigado los efectos del tamaño y la calidad de los datos tanto para el preentrenamiento como para la sintonización de instrucciones. Aunque logran mejoras significativas, los métodos anteriores adolecen de efectividad o eficiencia. En este artículo, presentamos LOGO (Alineación de largo contexto mediante Optimización eficiente de preferencias), una estrategia de entrenamiento que primero introduce la optimización de preferencias para la alineación de largo contexto. Para superar el problema de la memoria GPU limitada por la secuencia larga, LOGO emplea una estrategia de optimización de preferencias sin referencia y adopta un método de síntesis de posiciones para construir los datos de entrenamiento. Al entrenar con solo 0.3 mil millones de datos en una sola máquina GPU 8 veces A800 durante 16 horas, LOGO permite que el modelo Llama-3-8B-Instruct-80K logre un rendimiento comparable con GPT-4 en tareas del mundo real de largo contexto, al tiempo que conserva las capacidades originales del modelo en otras tareas, como modelado de lenguaje y MMLU. Además, LOGO puede ampliar el tamaño de la ventana de contexto del modelo al tiempo que mejora su rendimiento generativo.

English

Long-context models(LCMs) have shown great potential in processing long input sequences(even more than 100M tokens) conveniently and effectively. With significant progress, recent research has pointed out that LCMs can accurately locate token-level salient information within the context. Yet, the generation performance of these LCMs is far from satisfactory and might result in misaligned responses, such as hallucinations. To enhance the generation capability of LCMs, existing works have investigated the effects of data size and quality for both pre-training and instruction tuning. Though achieving meaningful improvement, previous methods fall short in either effectiveness or efficiency. In this paper, we introduce LOGO(Long cOntext aliGnment via efficient preference Optimization), a training strategy that first introduces preference optimization for long-context alignment. To overcome the GPU memory-bound issue caused by the long sequence, LOGO employs a reference-free preference optimization strategy and adopts a position synthesis method to construct the training data. By training with only 0.3B data on a single 8timesA800 GPU machine for 16 hours, LOGO allows the Llama-3-8B-Instruct-80K model to achieve comparable performance with GPT-4 in real-world long-context tasks while preserving the model's original capabilities on other tasks, e.g., language modeling and MMLU. Moreover, LOGO can extend the model's context window size while enhancing its generation performance.