FocusLLM: Schaalvergroting van de context van LLM's door parallel decoderen

FocusLLM: Scaling LLM's Context by Parallel Decoding

August 21, 2024

Auteurs: Zhenyu Li, Yike Zhang, Tengyu Pan, Yutao Sun, Zhichao Duan, Junjie Fang, Rong Han, Zixuan Wang, Jianyong Wang

cs.AI

Samenvatting

Het in staat stellen van LLM's om nuttige informatie uit een lange context te benutten, is cruciaal voor veel downstream-toepassingen. Het bereiken van lange contextlengtes met de conventionele transformer-architectuur vereist echter aanzienlijke trainings- en inferentiebronnen. In dit artikel presenteren we FocusLLM, een framework ontworpen om de contextlengte van elke decoder-only LLM uit te breiden, waardoor het model zich kan richten op relevante informatie uit zeer lange sequenties. FocusLLM verwerkt lange tekstinvoeren door deze op te delen in chunks op basis van de oorspronkelijke contextlengte van het model, om het probleem van aandachtsafleiding te verlichten. Vervolgens voegt het de lokale context toe aan elke chunk als prompt om essentiële informatie uit elke chunk te extraheren op basis van een nieuw parallel decodeermechanisme, en integreert uiteindelijk de geëxtraheerde informatie in de lokale context. FocusLLM onderscheidt zich door grote trainings efficiëntie en veelzijdigheid: getraind met een invoerlengte van 8K met aanzienlijk minder trainingskosten dan vorige methoden, toont FocusLLM superieure prestaties over downstream lange-context taken en behoudt een sterke taalmodelleringsvaardigheid bij het verwerken van uitgebreide lange teksten, zelfs tot 400K tokens. Onze code is beschikbaar op https://github.com/leezythu/FocusLLM.

English

Empowering LLMs with the ability to utilize useful information from a long context is crucial for many downstream applications. However, achieving long context lengths with the conventional transformer architecture requires substantial training and inference resources. In this paper, we present FocusLLM, a framework designed to extend the context length of any decoder-only LLM, enabling the model to focus on relevant information from very long sequences. FocusLLM processes long text inputs by dividing them into chunks based on the model's original context length to alleviate the issue of attention distraction. Then, it appends the local context to each chunk as a prompt to extract essential information from each chunk based on a novel parallel decoding mechanism, and ultimately integrates the extracted information into the local context. FocusLLM stands out for great training efficiency and versatility: trained with an 8K input length with much less training cost than previous methods, FocusLLM exhibits superior performance across downstream long-context tasks and maintains strong language modeling ability when handling extensive long texts, even up to 400K tokens. Our code is available at https://github.com/leezythu/FocusLLM.