하이퍼-멀티스텝: 어려운 장기 맥락 작업 뒤의 진실

Hyper-multi-step: The Truth Behind Difficult Long-context Tasks

October 6, 2024

저자: Yijiong Yu

cs.AI

초록

긴 문맥 언어 모델(Long-context language models, LCLM)은 광범위한 문맥 창으로 특징 지어지며 점점 더 인기를 얻고 있습니다. 한편, 많은 긴 문맥 벤치마크는 심각한 과제를 제시하며 심지어 가장 선진한 LCLM도 완수하기 어려워합니다. 그러나 다양한 어려운 긴 문맥 과제의 근본적인 원천은 거의 연구되지 않았습니다. 이 간극을 메우기 위해, 우리는 실험을 수행하여 이들의 어려움이 주로 "다중 매칭 검색"과 "논리 기반 검색"이라는 두 가지 기본 문제에서 비롯됨을 나타냅니다. 이 두 문제는 보통 간단해 보이지만 실제로 LCLM의 능력을 초월하는데, 왜냐하면 이러한 문제들은 본질적으로 하이퍼-다단계(해결하기 위해 많은 단계가 필요한)적인 것으로 입증되었기 때문입니다. 이 발견은 LLM이 더 고급 긴 문맥 과제에 어려움을 겪는 이유를 설명할 수 있으며, 이를 통해 이러한 문제에 대한 해결책을 재고하는 데 더 정확한 시각을 제공할 수 있습니다.

English

Long-context language models (LCLM), characterized by their extensive context window, is becoming increasingly popular. Meanwhile, many long-context benchmarks present challenging tasks that even the most advanced LCLMs struggle to complete. However, the underlying sources of various challenging long-context tasks have seldom been studied. To bridge this gap, we conduct experiments to indicate their difficulty stems primarily from two basic issues: "multi-matching retrieval," which requires the simultaneous retrieval of multiple items, and "logic-based retrieval," which necessitates logical judgment within retrieval criteria. These two problems, while seemingly straightforward, actually exceed the capabilities of LCLMs because they are proven to be hyper-multi-step (demanding numerous steps to solve) in nature. This finding could explain why LLMs struggle with more advanced long-context tasks, providing a more accurate perspective for rethinking solutions for them.