Действительно ли длинный контекст необходим, если всё, что вам нужно, - это извлечение? К подлинно сложным задачам обработки естественного языка с длинным контекстом.

Is It Really Long Context if All You Need Is Retrieval? Towards Genuinely Difficult Long Context NLP

June 29, 2024

Авторы: Omer Goldman, Alon Jacovi, Aviv Slobodkin, Aviya Maimon, Ido Dagan, Reut Tsarfaty

cs.AI

Аннотация

Улучшения в возможностях языковых моделей расширили область их применения на более длинные контексты, что привело к активному исследованию долгих контекстов и разработке в этой области. Однако множество различных случаев использования объединяются под общим термином "долгий контекст", определяемым просто общей длиной входных данных модели, включая, например, задачи поиска иголки в стоге сена, резюмирование книг и агрегирование информации. Учитывая их различную сложность, в данной позиционной статье мы утверждаем, что смешивание различных задач по их длине контекста неэффективно. Как сообщество, нам требуется более точный словарь для понимания того, что делает долгие контексты похожими или различными. Мы предлагаем разложить таксономию долгих контекстов на основе свойств, делающих их более сложными с увеличением контекста. Мы предлагаем две ортогональные оси сложности: (I) Диффузия: насколько сложно найти необходимую информацию в контексте? (II) Объем: сколько необходимой информации необходимо найти? Мы проанализировали литературу по долгим контекстам, обосновали эту таксономию как информативный дескриптор и определили место литературы относительно нее. Мы пришли к выводу, что наиболее сложные и интересные сценарии, в которых необходимая информация очень длинная и сильно разбросана во входных данных, пока мало исследованы. Используя описательный словарь и обсуждая соответствующие свойства сложности в долгих контекстах, мы можем проводить более информированные исследования в этой области. Мы призываем к тщательному проектированию задач и бенчмарков с явно длинным контекстом, учитывая характеристики, которые делают его качественно отличным от более короткого контекста.

English

Improvements in language models' capabilities have pushed their applications towards longer contexts, making long-context evaluation and development an active research area. However, many disparate use-cases are grouped together under the umbrella term of "long-context", defined simply by the total length of the model's input, including - for example - Needle-in-a-Haystack tasks, book summarization, and information aggregation. Given their varied difficulty, in this position paper we argue that conflating different tasks by their context length is unproductive. As a community, we require a more precise vocabulary to understand what makes long-context tasks similar or different. We propose to unpack the taxonomy of long-context based on the properties that make them more difficult with longer contexts. We propose two orthogonal axes of difficulty: (I) Diffusion: How hard is it to find the necessary information in the context? (II) Scope: How much necessary information is there to find? We survey the literature on long-context, provide justification for this taxonomy as an informative descriptor, and situate the literature with respect to it. We conclude that the most difficult and interesting settings, whose necessary information is very long and highly diffused within the input, is severely under-explored. By using a descriptive vocabulary and discussing the relevant properties of difficulty in long-context, we can implement more informed research in this area. We call for a careful design of tasks and benchmarks with distinctly long context, taking into account the characteristics that make it qualitatively different from shorter context.