정말로 필요한 것이 검색뿐이라면 그것이 진정한 장문맥인가? 진정으로 어려운 장문맥 NLP를 향하여

Is It Really Long Context if All You Need Is Retrieval? Towards Genuinely Difficult Long Context NLP

June 29, 2024

저자: Omer Goldman, Alon Jacovi, Aviv Slobodkin, Aviya Maimon, Ido Dagan, Reut Tsarfaty

cs.AI

초록

언어 모델의 능력 향상은 더 긴 문맥을 다루는 응용 분야로의 전환을 이끌어, 장문맥 평가 및 개발이 활발한 연구 분야로 자리 잡았습니다. 그러나 '장문맥'이라는 포괄적 용어 아래에는 단순히 모델 입력의 총 길이로 정의된 다양한 사용 사례가 혼재되어 있습니다. 예를 들어, '건초더미 속 바늘 찾기' 과제, 책 요약, 정보 통합 등이 이에 해당합니다. 이러한 과제들의 난이도가 다양함을 고려할 때, 본 포지션 페이퍼에서는 문맥 길이만으로 서로 다른 과제들을 동일시하는 것이 비생산적임을 주장합니다. 연구 커뮤니티로서는 장문맥 과제들이 유사하거나 다른 점을 이해하기 위해 보다 정확한 용어 체계가 필요합니다. 우리는 장문맥 과제의 분류를 문맥이 길어짐에 따라 더 어려워지는 속성에 기반하여 재구성할 것을 제안합니다. 이를 위해 두 가지 직교적인 난이도 축을 제안합니다: (I) 확산성: 필요한 정보를 문맥에서 찾는 것이 얼마나 어려운가? (II) 범위: 찾아야 할 필요한 정보의 양은 얼마나 많은가? 우리는 장문맥 관련 문헌을 조사하고, 이 분류 체계가 유익한 설명 도구임을 입증하며, 문헌들을 이 체계에 비추어 정리합니다. 결론적으로, 필요한 정보가 매우 길고 입력 내에서 고도로 확산된 가장 어렵고 흥미로운 설정은 심각하게 연구가 부족한 상태임을 확인했습니다. 장문맥의 난이도 관련 속성을 설명하는 용어를 사용하고 이를 논의함으로써, 이 분야에서 보다 정보에 기반한 연구를 수행할 수 있습니다. 우리는 짧은 문맥과 질적으로 다른 특성을 고려하여, 명확히 장문맥을 다루는 과제와 벤치마크를 신중하게 설계할 것을 촉구합니다.

English

Improvements in language models' capabilities have pushed their applications towards longer contexts, making long-context evaluation and development an active research area. However, many disparate use-cases are grouped together under the umbrella term of "long-context", defined simply by the total length of the model's input, including - for example - Needle-in-a-Haystack tasks, book summarization, and information aggregation. Given their varied difficulty, in this position paper we argue that conflating different tasks by their context length is unproductive. As a community, we require a more precise vocabulary to understand what makes long-context tasks similar or different. We propose to unpack the taxonomy of long-context based on the properties that make them more difficult with longer contexts. We propose two orthogonal axes of difficulty: (I) Diffusion: How hard is it to find the necessary information in the context? (II) Scope: How much necessary information is there to find? We survey the literature on long-context, provide justification for this taxonomy as an informative descriptor, and situate the literature with respect to it. We conclude that the most difficult and interesting settings, whose necessary information is very long and highly diffused within the input, is severely under-explored. By using a descriptive vocabulary and discussing the relevant properties of difficulty in long-context, we can implement more informed research in this area. We call for a careful design of tasks and benchmarks with distinctly long context, taking into account the characteristics that make it qualitatively different from shorter context.