É Realmente um Contexto Longo se Tudo o que Você Precisa é Recuperação? Rumo a Desafios Genuinamente Difíceis de Contexto Longo em Processamento de Linguagem Natural.

Is It Really Long Context if All You Need Is Retrieval? Towards Genuinely Difficult Long Context NLP

June 29, 2024

Autores: Omer Goldman, Alon Jacovi, Aviv Slobodkin, Aviya Maimon, Ido Dagan, Reut Tsarfaty

cs.AI

Resumo

As melhorias nas capacidades dos modelos de linguagem têm impulsionado suas aplicações em direção a contextos mais longos, tornando a avaliação e desenvolvimento de longos contextos uma área de pesquisa ativa. No entanto, muitos casos de uso diversos são agrupados sob o termo genérico "longo contexto", definido simplesmente pelo comprimento total da entrada do modelo, incluindo - por exemplo - tarefas de agulha no palheiro, sumarização de livros e agregação de informações. Dada a variedade de dificuldades, neste artigo de posição argumentamos que a mistura de diferentes tarefas pelo comprimento do contexto é improdutiva. Como comunidade, precisamos de um vocabulário mais preciso para entender o que torna as tarefas de longo contexto semelhantes ou diferentes. Propomos desdobrar a taxonomia de longo contexto com base nas propriedades que as tornam mais difíceis com contextos mais longos. Propomos dois eixos ortogonais de dificuldade: (I) Difusão: Quão difícil é encontrar as informações necessárias no contexto? (II) Escopo: Quanta informação necessária há para encontrar? Revisamos a literatura sobre longo contexto, fornecemos justificativa para esta taxonomia como um descritor informativo e situamos a literatura em relação a ela. Concluímos que as configurações mais difíceis e interessantes, cujas informações necessárias são muito longas e altamente difusas na entrada, são severamente subexploradas. Ao usar um vocabulário descritivo e discutir as propriedades relevantes de dificuldade em longo contexto, podemos implementar pesquisas mais informadas nesta área. Pedimos um design cuidadoso de tarefas e benchmarks com contextos distintamente longos, levando em consideração as características que o tornam qualitativamente diferente de contextos mais curtos.

English

Improvements in language models' capabilities have pushed their applications towards longer contexts, making long-context evaluation and development an active research area. However, many disparate use-cases are grouped together under the umbrella term of "long-context", defined simply by the total length of the model's input, including - for example - Needle-in-a-Haystack tasks, book summarization, and information aggregation. Given their varied difficulty, in this position paper we argue that conflating different tasks by their context length is unproductive. As a community, we require a more precise vocabulary to understand what makes long-context tasks similar or different. We propose to unpack the taxonomy of long-context based on the properties that make them more difficult with longer contexts. We propose two orthogonal axes of difficulty: (I) Diffusion: How hard is it to find the necessary information in the context? (II) Scope: How much necessary information is there to find? We survey the literature on long-context, provide justification for this taxonomy as an informative descriptor, and situate the literature with respect to it. We conclude that the most difficult and interesting settings, whose necessary information is very long and highly diffused within the input, is severely under-explored. By using a descriptive vocabulary and discussing the relevant properties of difficulty in long-context, we can implement more informed research in this area. We call for a careful design of tasks and benchmarks with distinctly long context, taking into account the characteristics that make it qualitatively different from shorter context.