Ainsi Parlait le Modèle de Langage à Grand Contexte

Thus Spake Long-Context Large Language Model

February 24, 2025

Auteurs: Xiaoran Liu, Ruixiao Li, Mianqiu Huang, Zhigeng Liu, Yuerong Song, Qipeng Guo, Siyang He, Qiqi Wang, Linlin Li, Qun Liu, Yaqian Zhou, Xuanjing Huang, Xipeng Qiu

cs.AI

Résumé

Le contexte long est un sujet important en traitement automatique des langues (NLP), traversant l'évolution des architectures NLP, et offre des opportunités immenses pour les modèles de langage à grande échelle (LLMs), leur conférant un potentiel d'apprentissage continu semblable à celui des humains. Malheureusement, la quête d'un contexte long s'accompagne de nombreux obstacles. Néanmoins, le contexte long reste un avantage concurrentiel essentiel pour les LLMs. Au cours des deux dernières années, la longueur de contexte des LLMs a connu une extension révolutionnaire atteignant des millions de tokens. De plus, la recherche sur les LLMs à contexte long s'est élargie, passant de l'extrapolation de longueur à une attention globale sur les architectures, les infrastructures, les méthodes d'entraînement et les technologies d'évaluation. Inspirés par le poème symphonique *Ainsi parlait Zarathoustra*, nous établissons une analogie entre le parcours d'extension du contexte des LLMs et les tentatives humaines de transcender leur mortalité. Dans cette étude, nous illustrerons comment les LLMs oscillent entre le besoin immense d'un contexte plus long et la nécessité tout aussi grande d'accepter le fait qu'il est finalement limité. Pour y parvenir, nous dressons un panorama global du cycle de vie des LLMs à contexte long selon quatre perspectives : architecture, infrastructure, entraînement et évaluation, mettant en lumière l'ensemble des technologies liées au contexte long. À la fin de cette étude, nous présenterons 10 questions sans réponse auxquelles sont actuellement confrontés les LLMs à contexte long. Nous espérons que cette étude pourra servir d'introduction systématique à la recherche sur les LLMs à contexte long.

English

Long context is an important topic in Natural Language Processing (NLP), running through the development of NLP architectures, and offers immense opportunities for Large Language Models (LLMs) giving LLMs the lifelong learning potential akin to humans. Unfortunately, the pursuit of a long context is accompanied by numerous obstacles. Nevertheless, long context remains a core competitive advantage for LLMs. In the past two years, the context length of LLMs has achieved a breakthrough extension to millions of tokens. Moreover, the research on long-context LLMs has expanded from length extrapolation to a comprehensive focus on architecture, infrastructure, training, and evaluation technologies. Inspired by the symphonic poem, Thus Spake Zarathustra, we draw an analogy between the journey of extending the context of LLM and the attempts of humans to transcend its mortality. In this survey, We will illustrate how LLM struggles between the tremendous need for a longer context and its equal need to accept the fact that it is ultimately finite. To achieve this, we give a global picture of the lifecycle of long-context LLMs from four perspectives: architecture, infrastructure, training, and evaluation, showcasing the full spectrum of long-context technologies. At the end of this survey, we will present 10 unanswered questions currently faced by long-context LLMs. We hope this survey can serve as a systematic introduction to the research on long-context LLMs.