Aldus sprak het Lang-Contextueel Taalmodel

Thus Spake Long-Context Large Language Model

February 24, 2025

Auteurs: Xiaoran Liu, Ruixiao Li, Mianqiu Huang, Zhigeng Liu, Yuerong Song, Qipeng Guo, Siyang He, Qiqi Wang, Linlin Li, Qun Liu, Yaqian Zhou, Xuanjing Huang, Xipeng Qiu

cs.AI

Samenvatting

Lange context is een belangrijk onderwerp in Natural Language Processing (NLP), dat door de ontwikkeling van NLP-architecturen loopt en enorme mogelijkheden biedt voor Large Language Models (LLMs), waardoor LLMs een levenslang leervermogen kunnen ontwikkelen dat vergelijkbaar is met dat van mensen. Helaas gaat het streven naar een lange context gepaard met talrijke obstakels. Desalniettemin blijft lange context een kerncompetentie voor LLMs. In de afgelopen twee jaar heeft de contextlengte van LLMs een doorbraak bereikt, waarbij deze is uitgebreid tot miljoenen tokens. Bovendien heeft het onderzoek naar lange-context LLMs zich uitgebreid van lengte-extrapolatie naar een alomvattende focus op architectuur, infrastructuur, training en evaluatietechnologieën. Geïnspireerd door het symfonisch gedicht "Also sprach Zarathustra" trekken we een analogie tussen de reis van het uitbreiden van de context van LLM en de pogingen van mensen om hun sterfelijkheid te overstijgen. In dit overzicht zullen we illustreren hoe LLM worstelt tussen de enorme behoefte aan een langere context en de even grote behoefte om het feit te accepteren dat deze uiteindelijk eindig is. Om dit te bereiken, geven we een globaal beeld van de levenscyclus van lange-context LLMs vanuit vier perspectieven: architectuur, infrastructuur, training en evaluatie, waarbij het volledige spectrum van lange-contexttechnologieën wordt getoond. Aan het einde van dit overzicht zullen we 10 onbeantwoorde vragen presenteren waar lange-context LLMs momenteel mee worden geconfronteerd. We hopen dat dit overzicht kan dienen als een systematische introductie tot het onderzoek naar lange-context LLMs.

English

Long context is an important topic in Natural Language Processing (NLP), running through the development of NLP architectures, and offers immense opportunities for Large Language Models (LLMs) giving LLMs the lifelong learning potential akin to humans. Unfortunately, the pursuit of a long context is accompanied by numerous obstacles. Nevertheless, long context remains a core competitive advantage for LLMs. In the past two years, the context length of LLMs has achieved a breakthrough extension to millions of tokens. Moreover, the research on long-context LLMs has expanded from length extrapolation to a comprehensive focus on architecture, infrastructure, training, and evaluation technologies. Inspired by the symphonic poem, Thus Spake Zarathustra, we draw an analogy between the journey of extending the context of LLM and the attempts of humans to transcend its mortality. In this survey, We will illustrate how LLM struggles between the tremendous need for a longer context and its equal need to accept the fact that it is ultimately finite. To achieve this, we give a global picture of the lifecycle of long-context LLMs from four perspectives: architecture, infrastructure, training, and evaluation, showcasing the full spectrum of long-context technologies. At the end of this survey, we will present 10 unanswered questions currently faced by long-context LLMs. We hope this survey can serve as a systematic introduction to the research on long-context LLMs.