È davvero contesto lungo se tutto ciò di cui hai bisogno è il recupero? Verso un NLP con contesto lungo autenticamente difficile

Is It Really Long Context if All You Need Is Retrieval? Towards Genuinely Difficult Long Context NLP

June 29, 2024

Autori: Omer Goldman, Alon Jacovi, Aviv Slobodkin, Aviya Maimon, Ido Dagan, Reut Tsarfaty

cs.AI

Abstract

I miglioramenti nelle capacità dei modelli linguistici hanno spinto le loro applicazioni verso contesti più lunghi, rendendo la valutazione e lo sviluppo di contesti lunghi un'area di ricerca attiva. Tuttavia, molti casi d'uso disparati sono raggruppati sotto il termine ombrello di "contesto lungo", definito semplicemente dalla lunghezza totale dell'input del modello, includendo, ad esempio, compiti di "Needle-in-a-Haystack", riassumizzazione di libri e aggregazione di informazioni. Data la loro varietà di difficoltà, in questo position paper sosteniamo che confondere diversi compiti in base alla lunghezza del contesto è improduttivo. Come comunità, abbiamo bisogno di un vocabolario più preciso per comprendere cosa rende simili o diversi i compiti a contesto lungo. Proponiamo di scomporre la tassonomia del contesto lungo in base alle proprietà che li rendono più difficili con contesti più estesi. Proponiamo due assi ortogonali di difficoltà: (I) Diffusione: quanto è difficile trovare le informazioni necessarie nel contesto? (II) Ampiezza: quante informazioni necessarie ci sono da trovare? Esaminiamo la letteratura sul contesto lungo, forniamo una giustificazione per questa tassonomia come descrittore informativo e collochiamo la letteratura rispetto ad essa. Concludiamo che le impostazioni più difficili e interessanti, in cui le informazioni necessarie sono molto lunghe e altamente diffuse all'interno dell'input, sono gravemente poco esplorate. Utilizzando un vocabolario descrittivo e discutendo le proprietà rilevanti della difficoltà nel contesto lungo, possiamo implementare una ricerca più informata in questo ambito. Invitiamo a una progettazione attenta di compiti e benchmark con contesti chiaramente lunghi, tenendo conto delle caratteristiche che li rendono qualitativamente diversi dai contesti più brevi.

English

Improvements in language models' capabilities have pushed their applications towards longer contexts, making long-context evaluation and development an active research area. However, many disparate use-cases are grouped together under the umbrella term of "long-context", defined simply by the total length of the model's input, including - for example - Needle-in-a-Haystack tasks, book summarization, and information aggregation. Given their varied difficulty, in this position paper we argue that conflating different tasks by their context length is unproductive. As a community, we require a more precise vocabulary to understand what makes long-context tasks similar or different. We propose to unpack the taxonomy of long-context based on the properties that make them more difficult with longer contexts. We propose two orthogonal axes of difficulty: (I) Diffusion: How hard is it to find the necessary information in the context? (II) Scope: How much necessary information is there to find? We survey the literature on long-context, provide justification for this taxonomy as an informative descriptor, and situate the literature with respect to it. We conclude that the most difficult and interesting settings, whose necessary information is very long and highly diffused within the input, is severely under-explored. By using a descriptive vocabulary and discussing the relevant properties of difficulty in long-context, we can implement more informed research in this area. We call for a careful design of tasks and benchmarks with distinctly long context, taking into account the characteristics that make it qualitatively different from shorter context.