かく語りき、長文脈対応大規模言語モデル
Thus Spake Long-Context Large Language Model
February 24, 2025
著者: Xiaoran Liu, Ruixiao Li, Mianqiu Huang, Zhigeng Liu, Yuerong Song, Qipeng Guo, Siyang He, Qiqi Wang, Linlin Li, Qun Liu, Yaqian Zhou, Xuanjing Huang, Xipeng Qiu
cs.AI
要旨
長文脈は自然言語処理（NLP）における重要なトピックであり、NLPアーキテクチャの発展を通じて大きな注目を集め、大規模言語モデル（LLMs）に人間のような生涯学習の可能性を与える膨大な機会を提供しています。しかしながら、長文脈の追求には数多くの障害が伴います。それにもかかわらず、長文脈はLLMsの中核的な競争優位性として残っています。過去2年間で、LLMsの文脈長は数百万トークンにまで飛躍的に拡張されました。さらに、長文脈LLMsの研究は、長さの外挿から、アーキテクチャ、インフラストラクチャ、トレーニング、評価技術に至るまで包括的な焦点を当てる方向に拡大しています。
交響詩「ツァラトゥストラはかく語りき」にインスパイアされ、LLMの文脈拡張の旅と人間がその有限性を超越しようとする試みを類比します。本調査では、LLMがより長い文脈への多大な必要性と、それが最終的には有限であるという事実を受け入れる必要性との間でどのように葛藤するかを示します。これを達成するために、アーキテクチャ、インフラストラクチャ、トレーニング、評価の4つの視点から長文脈LLMsのライフサイクルを包括的に描き、長文脈技術の全貌を紹介します。本調査の最後には、現在長文脈LLMsが直面している10の未解決の問題を提示します。本調査が長文脈LLMsの研究に対する体系的な導入として役立つことを願っています。
English
Long context is an important topic in Natural Language Processing (NLP),
running through the development of NLP architectures, and offers immense
opportunities for Large Language Models (LLMs) giving LLMs the lifelong
learning potential akin to humans. Unfortunately, the pursuit of a long context
is accompanied by numerous obstacles. Nevertheless, long context remains a core
competitive advantage for LLMs. In the past two years, the context length of
LLMs has achieved a breakthrough extension to millions of tokens. Moreover, the
research on long-context LLMs has expanded from length extrapolation to a
comprehensive focus on architecture, infrastructure, training, and evaluation
technologies.
Inspired by the symphonic poem, Thus Spake Zarathustra, we draw an analogy
between the journey of extending the context of LLM and the attempts of humans
to transcend its mortality. In this survey, We will illustrate how LLM
struggles between the tremendous need for a longer context and its equal need
to accept the fact that it is ultimately finite. To achieve this, we give a
global picture of the lifecycle of long-context LLMs from four perspectives:
architecture, infrastructure, training, and evaluation, showcasing the full
spectrum of long-context technologies. At the end of this survey, we will
present 10 unanswered questions currently faced by long-context LLMs. We hope
this survey can serve as a systematic introduction to the research on
long-context LLMs.