Est-ce vraiment un contexte long si tout ce dont vous avez besoin est la récupération ? Vers un traitement du langage naturel avec des contextes longs véritablement difficiles

Is It Really Long Context if All You Need Is Retrieval? Towards Genuinely Difficult Long Context NLP

June 29, 2024

Auteurs: Omer Goldman, Alon Jacovi, Aviv Slobodkin, Aviya Maimon, Ido Dagan, Reut Tsarfaty

cs.AI

Résumé

Les progrès dans les capacités des modèles de langage ont orienté leurs applications vers des contextes plus longs, faisant de l'évaluation et du développement en contexte long un domaine de recherche actif. Cependant, de nombreux cas d'usage disparates sont regroupés sous le terme générique de "contexte long", défini simplement par la longueur totale de l'entrée du modèle, incluant par exemple les tâches de type "aiguille dans une botte de foin", la synthèse de livres et l'agrégation d'informations. Étant donné leur difficulté variée, nous soutenons dans cet article de position que regrouper différentes tâches par leur longueur de contexte est peu productif. En tant que communauté, nous avons besoin d'un vocabulaire plus précis pour comprendre ce qui rend les tâches en contexte long similaires ou différentes. Nous proposons de décomposer la taxonomie du contexte long en fonction des propriétés qui les rendent plus difficiles avec des contextes plus longs. Nous proposons deux axes de difficulté orthogonaux : (I) Diffusion : À quel point est-il difficile de trouver les informations nécessaires dans le contexte ? (II) Étendue : Quelle quantité d'informations nécessaires y a-t-il à trouver ? Nous passons en revue la littérature sur le contexte long, justifions cette taxonomie comme un descripteur informatif et situons la littérature par rapport à celle-ci. Nous concluons que les configurations les plus difficiles et intéressantes, où les informations nécessaires sont très longues et fortement dispersées dans l'entrée, sont gravement sous-explorées. En utilisant un vocabulaire descriptif et en discutant des propriétés pertinentes de la difficulté en contexte long, nous pouvons mener des recherches plus éclairées dans ce domaine. Nous appelons à une conception minutieuse des tâches et des benchmarks avec un contexte clairement long, en tenant compte des caractéristiques qui le rendent qualitativement différent des contextes plus courts.

English

Improvements in language models' capabilities have pushed their applications towards longer contexts, making long-context evaluation and development an active research area. However, many disparate use-cases are grouped together under the umbrella term of "long-context", defined simply by the total length of the model's input, including - for example - Needle-in-a-Haystack tasks, book summarization, and information aggregation. Given their varied difficulty, in this position paper we argue that conflating different tasks by their context length is unproductive. As a community, we require a more precise vocabulary to understand what makes long-context tasks similar or different. We propose to unpack the taxonomy of long-context based on the properties that make them more difficult with longer contexts. We propose two orthogonal axes of difficulty: (I) Diffusion: How hard is it to find the necessary information in the context? (II) Scope: How much necessary information is there to find? We survey the literature on long-context, provide justification for this taxonomy as an informative descriptor, and situate the literature with respect to it. We conclude that the most difficult and interesting settings, whose necessary information is very long and highly diffused within the input, is severely under-explored. By using a descriptive vocabulary and discussing the relevant properties of difficulty in long-context, we can implement more informed research in this area. We call for a careful design of tasks and benchmarks with distinctly long context, taking into account the characteristics that make it qualitatively different from shorter context.