¿Es realmente contexto largo si todo lo que necesitas es recuperación? Hacia un NLP de contexto largo genuinamente desafiante

Is It Really Long Context if All You Need Is Retrieval? Towards Genuinely Difficult Long Context NLP

June 29, 2024

Autores: Omer Goldman, Alon Jacovi, Aviv Slobodkin, Aviya Maimon, Ido Dagan, Reut Tsarfaty

cs.AI

Resumen

Las mejoras en las capacidades de los modelos de lenguaje han impulsado sus aplicaciones hacia contextos más extensos, convirtiendo la evaluación y el desarrollo de contextos largos en un área de investigación activa. Sin embargo, muchos casos de uso diversos se agrupan bajo el término general de "contexto largo", definido simplemente por la longitud total de la entrada del modelo, incluyendo, por ejemplo, tareas de "aguja en un pajar", resumen de libros y agregación de información. Dada su variada dificultad, en este documento de posición argumentamos que agrupar diferentes tareas por su longitud de contexto es improductivo. Como comunidad, necesitamos un vocabulario más preciso para comprender qué hace que las tareas de contexto largo sean similares o diferentes. Proponemos desglosar la taxonomía del contexto largo basándonos en las propiedades que las hacen más difíciles con contextos más extensos. Proponemos dos ejes ortogonales de dificultad: (I) Difusión: ¿Qué tan difícil es encontrar la información necesaria en el contexto? (II) Alcance: ¿Cuánta información necesaria hay que encontrar? Revisamos la literatura sobre contexto largo, justificamos esta taxonomía como un descriptor informativo y situamos la literatura en relación con ella. Concluimos que los escenarios más difíciles e interesantes, cuya información necesaria es muy extensa y altamente difusa dentro de la entrada, están severamente subexplorados. Al utilizar un vocabulario descriptivo y discutir las propiedades relevantes de la dificultad en el contexto largo, podemos implementar una investigación más informada en esta área. Hacemos un llamado para un diseño cuidadoso de tareas y puntos de referencia con contextos claramente largos, teniendo en cuenta las características que los hacen cualitativamente diferentes de los contextos más cortos.

English

Improvements in language models' capabilities have pushed their applications towards longer contexts, making long-context evaluation and development an active research area. However, many disparate use-cases are grouped together under the umbrella term of "long-context", defined simply by the total length of the model's input, including - for example - Needle-in-a-Haystack tasks, book summarization, and information aggregation. Given their varied difficulty, in this position paper we argue that conflating different tasks by their context length is unproductive. As a community, we require a more precise vocabulary to understand what makes long-context tasks similar or different. We propose to unpack the taxonomy of long-context based on the properties that make them more difficult with longer contexts. We propose two orthogonal axes of difficulty: (I) Diffusion: How hard is it to find the necessary information in the context? (II) Scope: How much necessary information is there to find? We survey the literature on long-context, provide justification for this taxonomy as an informative descriptor, and situate the literature with respect to it. We conclude that the most difficult and interesting settings, whose necessary information is very long and highly diffused within the input, is severely under-explored. By using a descriptive vocabulary and discussing the relevant properties of difficulty in long-context, we can implement more informed research in this area. We call for a careful design of tasks and benchmarks with distinctly long context, taking into account the characteristics that make it qualitatively different from shorter context.