NeedleBench: Können LLMs in einem Kontextfenster von 1 Million Retrieval und Reasoning durchführen?

NeedleBench: Can LLMs Do Retrieval and Reasoning in 1 Million Context Window?

July 16, 2024

Autoren: Mo Li, Songyang Zhang, Yunxin Liu, Kai Chen

cs.AI

Zusammenfassung

Bei der Bewertung der Fähigkeiten von großen Sprachmodellen mit langem Kontext (LLMs) ist die Identifizierung von Inhalten, die für die Anfrage eines Benutzers relevant sind, aus originalen langen Dokumenten eine entscheidende Voraussetzung, damit ein LLM Fragen auf der Grundlage von langen Texten beantworten kann. Wir stellen NeedleBench vor, ein Framework, das aus einer Reihe von zunehmend anspruchsvolleren Aufgaben zur Bewertung bilingualer Fähigkeiten im langen Kontext besteht, die verschiedene Längenintervalle (4k, 8k, 32k, 128k, 200k, 1000k und darüber hinaus) und unterschiedliche Tiefenbereiche umfassen. Dies ermöglicht die strategische Einbringung kritischer Datenpunkte in verschiedenen Texttiefenzonen, um die Abruf- und Schlussfolgerungsfähigkeiten von Modellen in vielfältigen Kontexten rigoros zu testen. Wir verwenden das NeedleBench-Framework, um zu bewerten, wie gut die führenden Open-Source-Modelle Schlüsselinformationen identifizieren können, die für die Frage relevant sind, und diese Informationen zur Schlussfolgerung in bilingualen Langtexten anwenden können. Darüber hinaus schlagen wir die Ancestral Trace Challenge (ATC) vor, um die Komplexität logischer Schlussfolgerungsaufgaben zu imitieren, die wahrscheinlich bei realen langen Kontextaufgaben auftreten, und eine einfache Methode zur Bewertung von LLMs im Umgang mit komplexen langen Kontextsituationen bereitzustellen. Unsere Ergebnisse deuten darauf hin, dass aktuelle LLMs erhebliches Verbesserungspotenzial in praktischen Anwendungen mit langem Kontext haben, da sie mit der Komplexität logischer Schlussfolgerungsaufgaben, die wahrscheinlich bei realen langen Kontextaufgaben auftreten, zu kämpfen haben. Alle Codes und Ressourcen sind unter OpenCompass verfügbar: https://github.com/open-compass/opencompass.

English

In evaluating the long-context capabilities of large language models (LLMs), identifying content relevant to a user's query from original long documents is a crucial prerequisite for any LLM to answer questions based on long text. We present NeedleBench, a framework consisting of a series of progressively more challenging tasks for assessing bilingual long-context capabilities, spanning multiple length intervals (4k, 8k, 32k, 128k, 200k, 1000k, and beyond) and different depth ranges, allowing the strategic insertion of critical data points in different text depth zones to rigorously test the retrieval and reasoning capabilities of models in diverse contexts. We use the NeedleBench framework to assess how well the leading open-source models can identify key information relevant to the question and apply that information to reasoning in bilingual long texts. Furthermore, we propose the Ancestral Trace Challenge (ATC) to mimic the complexity of logical reasoning challenges that are likely to be present in real-world long-context tasks, providing a simple method for evaluating LLMs in dealing with complex long-context situations. Our results suggest that current LLMs have significant room for improvement in practical long-context applications, as they struggle with the complexity of logical reasoning challenges that are likely to be present in real-world long-context tasks. All codes and resources are available at OpenCompass: https://github.com/open-compass/opencompass.