NeedleBench : Les modèles de langage peuvent-ils effectuer la recherche et le raisonnement dans une fenêtre contextuelle d'un million de tokens ?

NeedleBench: Can LLMs Do Retrieval and Reasoning in 1 Million Context Window?

July 16, 2024

Auteurs: Mo Li, Songyang Zhang, Yunxin Liu, Kai Chen

cs.AI

Résumé

Dans l'évaluation des capacités de contexte long des grands modèles de langage (LLM), l'identification du contenu pertinent par rapport à la requête de l'utilisateur à partir de documents longs originaux constitue une condition préalable cruciale pour qu'un LLM puisse répondre à des questions basées sur des textes étendus. Nous présentons NeedleBench, un cadre composé d'une série de tâches progressivement plus complexes pour évaluer les capacités bilingues en contexte long, couvrant plusieurs intervalles de longueur (4k, 8k, 32k, 128k, 200k, 1000k, et au-delà) et différentes plages de profondeur, permettant l'insertion stratégique de points de données critiques dans différentes zones de profondeur de texte afin de tester rigoureusement les capacités de récupération et de raisonnement des modèles dans divers contextes. Nous utilisons le cadre NeedleBench pour évaluer dans quelle mesure les principaux modèles open-source peuvent identifier les informations clés pertinentes à la question et appliquer ces informations au raisonnement dans des textes longs bilingues. De plus, nous proposons le Ancestral Trace Challenge (ATC) pour imiter la complexité des défis de raisonnement logique susceptibles d'être présents dans les tâches réelles en contexte long, fournissant une méthode simple pour évaluer les LLM dans la gestion de situations complexes en contexte long. Nos résultats suggèrent que les LLM actuels ont une marge d'amélioration significative dans les applications pratiques en contexte long, car ils peinent à gérer la complexité des défis de raisonnement logique susceptibles d'être présents dans les tâches réelles en contexte long. Tous les codes et ressources sont disponibles sur OpenCompass : https://github.com/open-compass/opencompass.

English

In evaluating the long-context capabilities of large language models (LLMs), identifying content relevant to a user's query from original long documents is a crucial prerequisite for any LLM to answer questions based on long text. We present NeedleBench, a framework consisting of a series of progressively more challenging tasks for assessing bilingual long-context capabilities, spanning multiple length intervals (4k, 8k, 32k, 128k, 200k, 1000k, and beyond) and different depth ranges, allowing the strategic insertion of critical data points in different text depth zones to rigorously test the retrieval and reasoning capabilities of models in diverse contexts. We use the NeedleBench framework to assess how well the leading open-source models can identify key information relevant to the question and apply that information to reasoning in bilingual long texts. Furthermore, we propose the Ancestral Trace Challenge (ATC) to mimic the complexity of logical reasoning challenges that are likely to be present in real-world long-context tasks, providing a simple method for evaluating LLMs in dealing with complex long-context situations. Our results suggest that current LLMs have significant room for improvement in practical long-context applications, as they struggle with the complexity of logical reasoning challenges that are likely to be present in real-world long-context tasks. All codes and resources are available at OpenCompass: https://github.com/open-compass/opencompass.