FocusLLM : Mise à l'échelle du contexte de LLM par décodage parallèle

FocusLLM: Scaling LLM's Context by Parallel Decoding

August 21, 2024

Auteurs: Zhenyu Li, Yike Zhang, Tengyu Pan, Yutao Sun, Zhichao Duan, Junjie Fang, Rong Han, Zixuan Wang, Jianyong Wang

cs.AI

Résumé

Donner aux LLM la capacité d'utiliser des informations utiles à partir d'un long contexte est crucial pour de nombreuses applications en aval. Cependant, atteindre des longueurs de contexte étendues avec l'architecture de transformer conventionnelle nécessite des ressources de formation et d'inférence substantielles. Dans cet article, nous présentons FocusLLM, un cadre conçu pour étendre la longueur du contexte de n'importe quel LLM à décodeur unique, permettant au modèle de se concentrer sur des informations pertinentes à partir de séquences très longues. FocusLLM traite les entrées de texte long en les divisant en morceaux basés sur la longueur de contexte originale du modèle pour atténuer le problème de la distraction de l'attention. Ensuite, il ajoute le contexte local à chaque morceau en tant que directive pour extraire des informations essentielles de chaque morceau en se basant sur un mécanisme de décodage parallèle novateur, et intègre finalement les informations extraites dans le contexte local. FocusLLM se distingue par une grande efficacité de formation et une grande polyvalence : formé avec une longueur d'entrée de 8K avec un coût de formation bien inférieur à celui des méthodes précédentes, FocusLLM présente des performances supérieures dans les tâches en aval à long contexte et maintient une forte capacité de modélisation linguistique lors de la manipulation de textes longs étendus, allant jusqu'à 400K jetons. Notre code est disponible sur https://github.com/leezythu/FocusLLM.

English

Empowering LLMs with the ability to utilize useful information from a long context is crucial for many downstream applications. However, achieving long context lengths with the conventional transformer architecture requires substantial training and inference resources. In this paper, we present FocusLLM, a framework designed to extend the context length of any decoder-only LLM, enabling the model to focus on relevant information from very long sequences. FocusLLM processes long text inputs by dividing them into chunks based on the model's original context length to alleviate the issue of attention distraction. Then, it appends the local context to each chunk as a prompt to extract essential information from each chunk based on a novel parallel decoding mechanism, and ultimately integrates the extracted information into the local context. FocusLLM stands out for great training efficiency and versatility: trained with an 8K input length with much less training cost than previous methods, FocusLLM exhibits superior performance across downstream long-context tasks and maintains strong language modeling ability when handling extensive long texts, even up to 400K tokens. Our code is available at https://github.com/leezythu/FocusLLM.