So sprach das lange Kontext große Sprachmodell.

Thus Spake Long-Context Large Language Model

February 24, 2025

Autoren: Xiaoran Liu, Ruixiao Li, Mianqiu Huang, Zhigeng Liu, Yuerong Song, Qipeng Guo, Siyang He, Qiqi Wang, Linlin Li, Qun Liu, Yaqian Zhou, Xuanjing Huang, Xipeng Qiu

cs.AI

Zusammenfassung

Langer Kontext ist ein wichtiges Thema im Bereich der natürlichen Sprachverarbeitung (NLP), das sich durch die Entwicklung von NLP-Architekturen zieht und immense Möglichkeiten für große Sprachmodelle (LLMs) bietet, indem es den LLMs das lebenslange Lernpotenzial ähnlich dem von Menschen verleiht. Leider wird die Verfolgung eines langen Kontexts von zahlreichen Hindernissen begleitet. Dennoch bleibt ein langer Kontext ein wesentlicher Wettbewerbsvorteil für LLMs. In den letzten zwei Jahren hat die Kontextlänge von LLMs einen Durchbruch mit einer Erweiterung auf Millionen von Tokens erzielt. Darüber hinaus hat sich die Forschung zu LLMs mit langem Kontext von der Längenextrapolation zu einem umfassenden Fokus auf Architektur, Infrastruktur, Training und Evaluierungstechnologien ausgeweitet. Inspiriert vom sinfonischen Gedicht Also sprach Zarathustra ziehen wir eine Analogie zwischen der Reise zur Erweiterung des Kontexts von LLM und den Versuchen der Menschen, ihre Sterblichkeit zu überwinden. In dieser Übersicht werden wir veranschaulichen, wie LLMs zwischen dem enormen Bedarf an einem längeren Kontext und dem gleichwertigen Bedürfnis, die Tatsache zu akzeptieren, dass sie letztendlich endlich sind, kämpfen. Um dies zu erreichen, geben wir ein globales Bild des Lebenszyklus von LLMs mit langem Kontext aus vier Perspektiven: Architektur, Infrastruktur, Training und Evaluierung, wobei wir das gesamte Spektrum der Technologien mit langem Kontext präsentieren. Am Ende dieser Übersicht werden wir 10 unbeantwortete Fragen vorstellen, mit denen LLMs mit langem Kontext derzeit konfrontiert sind. Wir hoffen, dass diese Übersicht als systematische Einführung in die Forschung zu LLMs mit langem Kontext dienen kann.

English

Long context is an important topic in Natural Language Processing (NLP), running through the development of NLP architectures, and offers immense opportunities for Large Language Models (LLMs) giving LLMs the lifelong learning potential akin to humans. Unfortunately, the pursuit of a long context is accompanied by numerous obstacles. Nevertheless, long context remains a core competitive advantage for LLMs. In the past two years, the context length of LLMs has achieved a breakthrough extension to millions of tokens. Moreover, the research on long-context LLMs has expanded from length extrapolation to a comprehensive focus on architecture, infrastructure, training, and evaluation technologies. Inspired by the symphonic poem, Thus Spake Zarathustra, we draw an analogy between the journey of extending the context of LLM and the attempts of humans to transcend its mortality. In this survey, We will illustrate how LLM struggles between the tremendous need for a longer context and its equal need to accept the fact that it is ultimately finite. To achieve this, we give a global picture of the lifecycle of long-context LLMs from four perspectives: architecture, infrastructure, training, and evaluation, showcasing the full spectrum of long-context technologies. At the end of this survey, we will present 10 unanswered questions currently faced by long-context LLMs. We hope this survey can serve as a systematic introduction to the research on long-context LLMs.