Così Parlò il Modello Linguistico di Grande Contesto

Thus Spake Long-Context Large Language Model

February 24, 2025

Autori: Xiaoran Liu, Ruixiao Li, Mianqiu Huang, Zhigeng Liu, Yuerong Song, Qipeng Guo, Siyang He, Qiqi Wang, Linlin Li, Qun Liu, Yaqian Zhou, Xuanjing Huang, Xipeng Qiu

cs.AI

Abstract

Il contesto lungo è un argomento importante nel campo dell'Elaborazione del Linguaggio Naturale (NLP), che attraversa lo sviluppo delle architetture NLP e offre immense opportunità per i Modelli Linguistici di Grande Scala (LLMs), conferendo loro un potenziale di apprendimento permanente simile a quello degli esseri umani. Purtroppo, la ricerca di un contesto lungo è accompagnata da numerosi ostacoli. Tuttavia, il contesto lungo rimane un vantaggio competitivo fondamentale per gli LLMs. Negli ultimi due anni, la lunghezza del contesto degli LLMs ha raggiunto un'estensione rivoluzionaria, arrivando a milioni di token. Inoltre, la ricerca sugli LLMs a contesto lungo si è ampliata, passando dall'estrapolazione della lunghezza a un focus completo su architettura, infrastruttura, addestramento e tecnologie di valutazione. Ispirati dal poema sinfonico "Così parlò Zarathustra", tracciamo un'analogia tra il viaggio di estensione del contesto degli LLMs e i tentativi degli esseri umani di trascendere la propria mortalità. In questo studio, illustreremo come gli LLMs lottino tra l'enorme necessità di un contesto più lungo e l'uguale necessità di accettare il fatto che esso sia, in definitiva, finito. Per raggiungere questo obiettivo, forniamo una visione globale del ciclo di vita degli LLMs a contesto lungo da quattro prospettive: architettura, infrastruttura, addestramento e valutazione, mostrando l'intero spettro delle tecnologie a contesto lungo. Alla fine di questo studio, presenteremo 10 domande irrisolte attualmente affrontate dagli LLMs a contesto lungo. Speriamo che questo studio possa servire come introduzione sistematica alla ricerca sugli LLMs a contesto lungo.

English

Long context is an important topic in Natural Language Processing (NLP), running through the development of NLP architectures, and offers immense opportunities for Large Language Models (LLMs) giving LLMs the lifelong learning potential akin to humans. Unfortunately, the pursuit of a long context is accompanied by numerous obstacles. Nevertheless, long context remains a core competitive advantage for LLMs. In the past two years, the context length of LLMs has achieved a breakthrough extension to millions of tokens. Moreover, the research on long-context LLMs has expanded from length extrapolation to a comprehensive focus on architecture, infrastructure, training, and evaluation technologies. Inspired by the symphonic poem, Thus Spake Zarathustra, we draw an analogy between the journey of extending the context of LLM and the attempts of humans to transcend its mortality. In this survey, We will illustrate how LLM struggles between the tremendous need for a longer context and its equal need to accept the fact that it is ultimately finite. To achieve this, we give a global picture of the lifecycle of long-context LLMs from four perspectives: architecture, infrastructure, training, and evaluation, showcasing the full spectrum of long-context technologies. At the end of this survey, we will present 10 unanswered questions currently faced by long-context LLMs. We hope this survey can serve as a systematic introduction to the research on long-context LLMs.