FocusLLM: Scalabilità del contesto degli LLM tramite decodifica parallela

FocusLLM: Scaling LLM's Context by Parallel Decoding

August 21, 2024

Autori: Zhenyu Li, Yike Zhang, Tengyu Pan, Yutao Sun, Zhichao Duan, Junjie Fang, Rong Han, Zixuan Wang, Jianyong Wang

cs.AI

Abstract

Dotare i LLM della capacità di utilizzare informazioni utili da un contesto lungo è cruciale per molte applicazioni downstream. Tuttavia, raggiungere lunghezze di contesto estese con l'architettura convenzionale dei transformer richiede risorse significative per l'addestramento e l'inferenza. In questo articolo, presentiamo FocusLLM, un framework progettato per estendere la lunghezza del contesto di qualsiasi LLM decoder-only, consentendo al modello di concentrarsi sulle informazioni rilevanti da sequenze molto lunghe. FocusLLM elabora input di testo lunghi suddividendoli in blocchi basati sulla lunghezza originale del contesto del modello per alleviare il problema della distrazione dell'attenzione. Successivamente, aggiunge il contesto locale a ciascun blocco come prompt per estrarre informazioni essenziali da ciascun blocco basandosi su un nuovo meccanismo di decodifica parallela, e infine integra le informazioni estratte nel contesto locale. FocusLLM si distingue per una grande efficienza nell'addestramento e versatilità: addestrato con una lunghezza di input di 8K con un costo di addestramento molto inferiore rispetto ai metodi precedenti, FocusLLM mostra prestazioni superiori in compiti downstream con contesto lungo e mantiene una forte capacità di modellazione del linguaggio quando gestisce testi estesi, fino a 400K token. Il nostro codice è disponibile all'indirizzo https://github.com/leezythu/FocusLLM.

English

Empowering LLMs with the ability to utilize useful information from a long context is crucial for many downstream applications. However, achieving long context lengths with the conventional transformer architecture requires substantial training and inference resources. In this paper, we present FocusLLM, a framework designed to extend the context length of any decoder-only LLM, enabling the model to focus on relevant information from very long sequences. FocusLLM processes long text inputs by dividing them into chunks based on the model's original context length to alleviate the issue of attention distraction. Then, it appends the local context to each chunk as a prompt to extract essential information from each chunk based on a novel parallel decoding mechanism, and ultimately integrates the extracted information into the local context. FocusLLM stands out for great training efficiency and versatility: trained with an 8K input length with much less training cost than previous methods, FocusLLM exhibits superior performance across downstream long-context tasks and maintains strong language modeling ability when handling extensive long texts, even up to 400K tokens. Our code is available at https://github.com/leezythu/FocusLLM.