NeedleBench: Kunnen LLM's Retrieval en Redeneren Uitvoeren in een Contextvenster van 1 Miljoen?

NeedleBench: Can LLMs Do Retrieval and Reasoning in 1 Million Context Window?

July 16, 2024

Auteurs: Mo Li, Songyang Zhang, Yunxin Liu, Kai Chen

cs.AI

Samenvatting

Bij het evalueren van de lange-context capaciteiten van grote taalmodellen (LLM's) is het identificeren van inhoud die relevant is voor een gebruikersvraag uit originele lange documenten een cruciale voorwaarde voor elk LLM om vragen te beantwoorden op basis van lange tekst. Wij presenteren NeedleBench, een raamwerk dat bestaat uit een reeks progressief uitdagender taken voor het beoordelen van tweetalige lange-context capaciteiten, die meerdere lengte-intervallen omvatten (4k, 8k, 32k, 128k, 200k, 1000k en verder) en verschillende dieptebereiken, waardoor het strategisch inbrengen van kritieke datapunten in verschillende tekstdieptezones mogelijk wordt om de ophaal- en redeneercapaciteiten van modellen in diverse contexten rigoureus te testen. We gebruiken het NeedleBench-raamwerk om te beoordelen hoe goed de toonaangevende open-source modellen sleutelinformatie die relevant is voor de vraag kunnen identificeren en die informatie kunnen toepassen bij het redeneren in tweetalige lange teksten. Bovendien stellen we de Ancestral Trace Challenge (ATC) voor om de complexiteit van logische redeneeruitdagingen na te bootsen die waarschijnlijk aanwezig zijn in real-world lange-context taken, en bieden we een eenvoudige methode voor het evalueren van LLM's bij het omgaan met complexe lange-context situaties. Onze resultaten suggereren dat huidige LLM's aanzienlijke ruimte voor verbetering hebben in praktische lange-context toepassingen, aangezien ze moeite hebben met de complexiteit van logische redeneeruitdagingen die waarschijnlijk aanwezig zijn in real-world lange-context taken. Alle codes en bronnen zijn beschikbaar op OpenCompass: https://github.com/open-compass/opencompass.

English

In evaluating the long-context capabilities of large language models (LLMs), identifying content relevant to a user's query from original long documents is a crucial prerequisite for any LLM to answer questions based on long text. We present NeedleBench, a framework consisting of a series of progressively more challenging tasks for assessing bilingual long-context capabilities, spanning multiple length intervals (4k, 8k, 32k, 128k, 200k, 1000k, and beyond) and different depth ranges, allowing the strategic insertion of critical data points in different text depth zones to rigorously test the retrieval and reasoning capabilities of models in diverse contexts. We use the NeedleBench framework to assess how well the leading open-source models can identify key information relevant to the question and apply that information to reasoning in bilingual long texts. Furthermore, we propose the Ancestral Trace Challenge (ATC) to mimic the complexity of logical reasoning challenges that are likely to be present in real-world long-context tasks, providing a simple method for evaluating LLMs in dealing with complex long-context situations. Our results suggest that current LLMs have significant room for improvement in practical long-context applications, as they struggle with the complexity of logical reasoning challenges that are likely to be present in real-world long-context tasks. All codes and resources are available at OpenCompass: https://github.com/open-compass/opencompass.