Assim Falou o Modelo de Linguagem de Grande Escala com Contexto Longo

Thus Spake Long-Context Large Language Model

February 24, 2025

Autores: Xiaoran Liu, Ruixiao Li, Mianqiu Huang, Zhigeng Liu, Yuerong Song, Qipeng Guo, Siyang He, Qiqi Wang, Linlin Li, Qun Liu, Yaqian Zhou, Xuanjing Huang, Xipeng Qiu

cs.AI

Resumo

O contexto longo é um tópico importante no Processamento de Linguagem Natural (PLN), permeando o desenvolvimento das arquiteturas de PLN e oferecendo oportunidades imensas para os Modelos de Linguagem de Grande Escala (LLMs), concedendo a eles o potencial de aprendizado contínuo, semelhante ao dos humanos. Infelizmente, a busca por um contexto longo é acompanhada por inúmeros obstáculos. No entanto, o contexto longo continua sendo uma vantagem competitiva central para os LLMs. Nos últimos dois anos, o comprimento do contexto dos LLMs alcançou uma extensão revolucionária, chegando a milhões de tokens. Além disso, a pesquisa sobre LLMs de contexto longo expandiu-se da extrapolação de comprimento para um foco abrangente em arquitetura, infraestrutura, treinamento e tecnologias de avaliação. Inspirados pelo poema sinfônico "Assim Falou Zaratustra", traçamos uma analogia entre a jornada de extensão do contexto dos LLMs e as tentativas humanas de transcender a mortalidade. Neste estudo, ilustraremos como os LLMs lutam entre a enorme necessidade de um contexto mais longo e a igual necessidade de aceitar o fato de que ele é, em última instância, finito. Para alcançar isso, apresentamos uma visão global do ciclo de vida dos LLMs de contexto longo a partir de quatro perspectivas: arquitetura, infraestrutura, treinamento e avaliação, mostrando o espectro completo das tecnologias de contexto longo. Ao final deste estudo, apresentaremos 10 questões não respondidas atualmente enfrentadas pelos LLMs de contexto longo. Esperamos que este estudo possa servir como uma introdução sistemática à pesquisa sobre LLMs de contexto longo.

English

Long context is an important topic in Natural Language Processing (NLP), running through the development of NLP architectures, and offers immense opportunities for Large Language Models (LLMs) giving LLMs the lifelong learning potential akin to humans. Unfortunately, the pursuit of a long context is accompanied by numerous obstacles. Nevertheless, long context remains a core competitive advantage for LLMs. In the past two years, the context length of LLMs has achieved a breakthrough extension to millions of tokens. Moreover, the research on long-context LLMs has expanded from length extrapolation to a comprehensive focus on architecture, infrastructure, training, and evaluation technologies. Inspired by the symphonic poem, Thus Spake Zarathustra, we draw an analogy between the journey of extending the context of LLM and the attempts of humans to transcend its mortality. In this survey, We will illustrate how LLM struggles between the tremendous need for a longer context and its equal need to accept the fact that it is ultimately finite. To achieve this, we give a global picture of the lifecycle of long-context LLMs from four perspectives: architecture, infrastructure, training, and evaluation, showcasing the full spectrum of long-context technologies. At the end of this survey, we will present 10 unanswered questions currently faced by long-context LLMs. We hope this survey can serve as a systematic introduction to the research on long-context LLMs.