Así Habló el Modelo de Lenguaje de Gran Contexto
Thus Spake Long-Context Large Language Model
February 24, 2025
Autores: Xiaoran Liu, Ruixiao Li, Mianqiu Huang, Zhigeng Liu, Yuerong Song, Qipeng Guo, Siyang He, Qiqi Wang, Linlin Li, Qun Liu, Yaqian Zhou, Xuanjing Huang, Xipeng Qiu
cs.AI
Resumen
El contexto largo es un tema importante en el Procesamiento del Lenguaje Natural (PLN), que atraviesa el desarrollo de las arquitecturas de PLN y ofrece enormes oportunidades para los Modelos de Lenguaje a Gran Escala (LLMs), otorgándoles un potencial de aprendizaje continuo similar al de los humanos. Desafortunadamente, la búsqueda de un contexto largo viene acompañada de numerosos obstáculos. Sin embargo, el contexto largo sigue siendo una ventaja competitiva central para los LLMs. En los últimos dos años, la longitud del contexto de los LLMs ha logrado una extensión revolucionaria, alcanzando millones de tokens. Además, la investigación sobre LLMs de contexto largo se ha expandido desde la extrapolación de longitud hacia un enfoque integral que abarca arquitectura, infraestructura, entrenamiento y tecnologías de evaluación.
Inspirados por el poema sinfónico "Así habló Zaratustra", establecemos una analogía entre el viaje de extender el contexto de los LLMs y los intentos de los humanos por trascender su mortalidad. En este estudio, ilustraremos cómo los LLMs luchan entre la enorme necesidad de un contexto más extenso y la igualmente importante necesidad de aceptar que, en última instancia, este es finito. Para lograrlo, ofrecemos una visión global del ciclo de vida de los LLMs de contexto largo desde cuatro perspectivas: arquitectura, infraestructura, entrenamiento y evaluación, mostrando el espectro completo de las tecnologías de contexto largo. Al final de este estudio, presentaremos 10 preguntas sin respuesta que actualmente enfrentan los LLMs de contexto largo. Esperamos que este estudio sirva como una introducción sistemática a la investigación sobre LLMs de contexto largo.
English
Long context is an important topic in Natural Language Processing (NLP),
running through the development of NLP architectures, and offers immense
opportunities for Large Language Models (LLMs) giving LLMs the lifelong
learning potential akin to humans. Unfortunately, the pursuit of a long context
is accompanied by numerous obstacles. Nevertheless, long context remains a core
competitive advantage for LLMs. In the past two years, the context length of
LLMs has achieved a breakthrough extension to millions of tokens. Moreover, the
research on long-context LLMs has expanded from length extrapolation to a
comprehensive focus on architecture, infrastructure, training, and evaluation
technologies.
Inspired by the symphonic poem, Thus Spake Zarathustra, we draw an analogy
between the journey of extending the context of LLM and the attempts of humans
to transcend its mortality. In this survey, We will illustrate how LLM
struggles between the tremendous need for a longer context and its equal need
to accept the fact that it is ultimately finite. To achieve this, we give a
global picture of the lifecycle of long-context LLMs from four perspectives:
architecture, infrastructure, training, and evaluation, showcasing the full
spectrum of long-context technologies. At the end of this survey, we will
present 10 unanswered questions currently faced by long-context LLMs. We hope
this survey can serve as a systematic introduction to the research on
long-context LLMs.