Is het echt een lange context als alles wat je nodig hebt retrieval is? Op weg naar echt uitdagende lange context NLP

Is It Really Long Context if All You Need Is Retrieval? Towards Genuinely Difficult Long Context NLP

June 29, 2024

Auteurs: Omer Goldman, Alon Jacovi, Aviv Slobodkin, Aviya Maimon, Ido Dagan, Reut Tsarfaty

cs.AI

Samenvatting

Verbeteringen in de mogelijkheden van taalmodellen hebben hun toepassingen in de richting van langere contexten geduwd, waardoor evaluatie en ontwikkeling van lange contexten een actief onderzoeksgebied is geworden. Echter, veel uiteenlopende use-cases worden samengebracht onder de parapluterm "lange context", simpelweg gedefinieerd door de totale lengte van de invoer van het model, waaronder bijvoorbeeld Needle-in-a-Haystack-taken, boekensamenvatting en informatieaggregatie. Gezien hun uiteenlopende moeilijkheidsgraad, beargumenteren we in dit position paper dat het samenvoegen van verschillende taken op basis van hun contextlengte onproductief is. Als gemeenschap hebben we een preciezere woordenschat nodig om te begrijpen wat lange-contexttaken vergelijkbaar of verschillend maakt. We stellen voor om de taxonomie van lange context uit te pakken op basis van de eigenschappen die ze moeilijker maken bij langere contexten. We stellen twee orthogonale assen van moeilijkheid voor: (I) Diffusie: Hoe moeilijk is het om de benodigde informatie in de context te vinden? (II) Omvang: Hoeveel benodigde informatie is er te vinden? We onderzoeken de literatuur over lange context, bieden rechtvaardiging voor deze taxonomie als een informatieve beschrijving, en plaatsen de literatuur in relatie daarmee. We concluderen dat de meest moeilijke en interessante situaties, waarvan de benodigde informatie zeer lang en sterk verspreid is binnen de invoer, ernstig onderbelicht zijn. Door een beschrijvende woordenschat te gebruiken en de relevante eigenschappen van moeilijkheid in lange context te bespreken, kunnen we beter geïnformeerd onderzoek in dit gebied uitvoeren. We roepen op tot een zorgvuldige ontwerp van taken en benchmarks met duidelijk lange context, waarbij rekening wordt gehouden met de kenmerken die het kwalitatief anders maken dan kortere context.

English

Improvements in language models' capabilities have pushed their applications towards longer contexts, making long-context evaluation and development an active research area. However, many disparate use-cases are grouped together under the umbrella term of "long-context", defined simply by the total length of the model's input, including - for example - Needle-in-a-Haystack tasks, book summarization, and information aggregation. Given their varied difficulty, in this position paper we argue that conflating different tasks by their context length is unproductive. As a community, we require a more precise vocabulary to understand what makes long-context tasks similar or different. We propose to unpack the taxonomy of long-context based on the properties that make them more difficult with longer contexts. We propose two orthogonal axes of difficulty: (I) Diffusion: How hard is it to find the necessary information in the context? (II) Scope: How much necessary information is there to find? We survey the literature on long-context, provide justification for this taxonomy as an informative descriptor, and situate the literature with respect to it. We conclude that the most difficult and interesting settings, whose necessary information is very long and highly diffused within the input, is severely under-explored. By using a descriptive vocabulary and discussing the relevant properties of difficulty in long-context, we can implement more informed research in this area. We call for a careful design of tasks and benchmarks with distinctly long context, taking into account the characteristics that make it qualitatively different from shorter context.