FocusLLM: Escalando el Contexto de LLM mediante Decodificación Paralela

FocusLLM: Scaling LLM's Context by Parallel Decoding

August 21, 2024

Autores: Zhenyu Li, Yike Zhang, Tengyu Pan, Yutao Sun, Zhichao Duan, Junjie Fang, Rong Han, Zixuan Wang, Jianyong Wang

cs.AI

Resumen

Potenciar a los LLMs con la capacidad de utilizar información útil de un contexto largo es crucial para muchas aplicaciones posteriores. Sin embargo, lograr longitudes de contexto extensas con la arquitectura transformadora convencional requiere recursos sustanciales de entrenamiento e inferencia. En este documento, presentamos FocusLLM, un marco diseñado para ampliar la longitud del contexto de cualquier LLM solo decodificador, permitiendo que el modelo se enfoque en información relevante de secuencias muy largas. FocusLLM procesa entradas de texto largo dividiéndolas en fragmentos basados en la longitud de contexto original del modelo para aliviar el problema de distracción de atención. Luego, añade el contexto local a cada fragmento como un estímulo para extraer información esencial de cada fragmento basado en un mecanismo novedoso de decodificación paralela, e integra finalmente la información extraída en el contexto local. FocusLLM destaca por su gran eficiencia de entrenamiento y versatilidad: entrenado con una longitud de entrada de 8K con un costo de entrenamiento mucho menor que los métodos anteriores, FocusLLM muestra un rendimiento superior en tareas posteriores de largo contexto y mantiene una sólida capacidad de modelado del lenguaje al manejar textos largos extensos, incluso hasta 400K tokens. Nuestro código está disponible en https://github.com/leezythu/FocusLLM.

English

Empowering LLMs with the ability to utilize useful information from a long context is crucial for many downstream applications. However, achieving long context lengths with the conventional transformer architecture requires substantial training and inference resources. In this paper, we present FocusLLM, a framework designed to extend the context length of any decoder-only LLM, enabling the model to focus on relevant information from very long sequences. FocusLLM processes long text inputs by dividing them into chunks based on the model's original context length to alleviate the issue of attention distraction. Then, it appends the local context to each chunk as a prompt to extract essential information from each chunk based on a novel parallel decoding mechanism, and ultimately integrates the extracted information into the local context. FocusLLM stands out for great training efficiency and versatility: trained with an 8K input length with much less training cost than previous methods, FocusLLM exhibits superior performance across downstream long-context tasks and maintains strong language modeling ability when handling extensive long texts, even up to 400K tokens. Our code is available at https://github.com/leezythu/FocusLLM.