NeedleBench: Могут ли языковые модели с ограниченной памятью выполнять поиск и рассуждения в окне из 1 миллиона контекстов?

NeedleBench: Can LLMs Do Retrieval and Reasoning in 1 Million Context Window?

July 16, 2024

Авторы: Mo Li, Songyang Zhang, Yunxin Liu, Kai Chen

cs.AI

Аннотация

При оценке возможностей длинного контекста больших языковых моделей (LLM) выявление содержания, соответствующего запросу пользователя, из оригинальных длинных документов является ключевым предварительным условием для того, чтобы любая LLM могла отвечать на вопросы на основе длинного текста. Мы представляем NeedleBench, фреймворк, состоящий из серии постепенно усложняющихся задач для оценки двуязычных возможностей длинного контекста, охватывающий несколько интервалов длины (4k, 8k, 32k, 128k, 200k, 1000k и далее) и различные диапазоны глубины, позволяющий стратегически вставлять критические данные в различные зоны глубины текста для тщательного тестирования возможностей извлечения и рассуждения моделей в различных контекстах. Мы используем фреймворк NeedleBench для оценки того, насколько хорошо ведущие модели с открытым исходным кодом могут идентифицировать ключевую информацию, соответствующую вопросу, и применять эту информацию для рассуждений в двуязычных длинных текстах. Более того, мы предлагаем вызов Ancestral Trace Challenge (ATC) для имитации сложности логических задач, которые, вероятно, присутствуют в задачах реального длинного контекста, предоставляя простой метод оценки LLM в работе с сложными ситуациями длинного контекста. Наши результаты показывают, что у текущих LLM есть значительное пространство для улучшения в практических приложениях длинного контекста, поскольку они испытывают трудности с сложностью логических задач, которые, вероятно, присутствуют в задачах реального длинного контекста. Все коды и ресурсы доступны на OpenCompass: https://github.com/open-compass/opencompass.

English

In evaluating the long-context capabilities of large language models (LLMs), identifying content relevant to a user's query from original long documents is a crucial prerequisite for any LLM to answer questions based on long text. We present NeedleBench, a framework consisting of a series of progressively more challenging tasks for assessing bilingual long-context capabilities, spanning multiple length intervals (4k, 8k, 32k, 128k, 200k, 1000k, and beyond) and different depth ranges, allowing the strategic insertion of critical data points in different text depth zones to rigorously test the retrieval and reasoning capabilities of models in diverse contexts. We use the NeedleBench framework to assess how well the leading open-source models can identify key information relevant to the question and apply that information to reasoning in bilingual long texts. Furthermore, we propose the Ancestral Trace Challenge (ATC) to mimic the complexity of logical reasoning challenges that are likely to be present in real-world long-context tasks, providing a simple method for evaluating LLMs in dealing with complex long-context situations. Our results suggest that current LLMs have significant room for improvement in practical long-context applications, as they struggle with the complexity of logical reasoning challenges that are likely to be present in real-world long-context tasks. All codes and resources are available at OpenCompass: https://github.com/open-compass/opencompass.