長文脈LLMの研究を入力から出力へシフトする

Shifting Long-Context LLMs Research from Input to Output

March 6, 2025

著者: Yuhao Wu, Yushi Bai, Zhiqing Hu, Shangqing Tu, Ming Shan Hee, Juanzi Li, Roy Ka-Wei Lee

cs.AI

要旨

長文脈大規模言語モデル（LLMs）の最近の進展は、主に入力文脈の拡張処理に焦点を当てており、長文脈理解において大きな進歩を遂げています。しかし、同様に重要な長文出力生成の側面は、比較的注目を集めていません。本論文は、NLP研究のパラダイムシフトを提唱し、長文出力生成の課題に取り組むことを主張します。小説執筆、長期計画立案、複雑な推論などのタスクでは、モデルが広範な文脈を理解し、首尾一貫した、文脈的に豊かで、論理的に整合性のある長文を生成する必要があります。これらの要求は、現在のLLMの能力における重要なギャップを浮き彫りにしています。我々は、この未開拓の領域の重要性を強調し、高品質な長文出力を生成するために特化した基盤LLMの開発に向けた集中的な取り組みを呼びかけます。これらは、実世界の応用において非常に大きな可能性を秘めています。

English

Recent advancements in long-context Large Language Models (LLMs) have primarily concentrated on processing extended input contexts, resulting in significant strides in long-context comprehension. However, the equally critical aspect of generating long-form outputs has received comparatively less attention. This paper advocates for a paradigm shift in NLP research toward addressing the challenges of long-output generation. Tasks such as novel writing, long-term planning, and complex reasoning require models to understand extensive contexts and produce coherent, contextually rich, and logically consistent extended text. These demands highlight a critical gap in current LLM capabilities. We underscore the importance of this under-explored domain and call for focused efforts to develop foundational LLMs tailored for generating high-quality, long-form outputs, which hold immense potential for real-world applications.