긴 문맥 LLM 연구의 초점을 입력에서 출력으로 전환하기

Shifting Long-Context LLMs Research from Input to Output

March 6, 2025

저자: Yuhao Wu, Yushi Bai, Zhiqing Hu, Shangqing Tu, Ming Shan Hee, Juanzi Li, Roy Ka-Wei Lee

cs.AI

초록

최근 장문 맥락 대형 언어 모델(LLM)의 발전은 주로 확장된 입력 맥락 처리에 집중되어 장문 이해 능력에서 상당한 진전을 이루었습니다. 그러나 동등하게 중요한 장문 출력 생성 측면은 상대적으로 덜 주목받아 왔습니다. 본 논문은 자연어 처리(NLP) 연구의 패러다임 전환을 촉구하며, 장문 출력 생성의 도전 과제를 해결할 것을 제안합니다. 소설 작성, 장기 계획 수립, 복잡한 추론과 같은 작업들은 모델이 광범위한 맥락을 이해하고 일관성 있으며 맥락적으로 풍부하고 논리적으로 일관된 장문 텍스트를 생성할 것을 요구합니다. 이러한 요구 사항들은 현재 LLM의 능력에서 중요한 격차를 드러냅니다. 우리는 이 미개척 분야의 중요성을 강조하고, 고품질의 장문 출력 생성을 위해 특화된 기초 LLM 개발에 집중적인 노력을 기울일 것을 촉구합니다. 이는 실세계 응용 분야에서 막대한 잠재력을 지니고 있습니다.

English

Recent advancements in long-context Large Language Models (LLMs) have primarily concentrated on processing extended input contexts, resulting in significant strides in long-context comprehension. However, the equally critical aspect of generating long-form outputs has received comparatively less attention. This paper advocates for a paradigm shift in NLP research toward addressing the challenges of long-output generation. Tasks such as novel writing, long-term planning, and complex reasoning require models to understand extensive contexts and produce coherent, contextually rich, and logically consistent extended text. These demands highlight a critical gap in current LLM capabilities. We underscore the importance of this under-explored domain and call for focused efforts to develop foundational LLMs tailored for generating high-quality, long-form outputs, which hold immense potential for real-world applications.