LongBench v2: К более глубокому пониманию и рассуждениям о реалистичных многозадачных задачах с длинным контекстом.

LongBench v2: Towards Deeper Understanding and Reasoning on Realistic Long-context Multitasks

December 19, 2024

Авторы: Yushi Bai, Shangqing Tu, Jiajie Zhang, Hao Peng, Xiaozhi Wang, Xin Lv, Shulin Cao, Jiazheng Xu, Lei Hou, Yuxiao Dong, Jie Tang, Juanzi Li

cs.AI

Аннотация

Данный документ представляет LongBench v2, бенчмарк, разработанный для оценки способности LLMs решать проблемы с длинным контекстом, требующие глубокого понимания и рассуждений по реальным мультитаскам. LongBench v2 состоит из 503 сложных вопросов с выбором ответа, с контекстами от 8 тыс. до 2 млн слов, в шести основных категориях задач: вопросы-ответы на основе одного документа, вопросы-ответы на основе нескольких документов, долгосрочное обучение в контексте, понимание длинной истории диалога, понимание репозитория кода и понимание длинных структурированных данных. Для обеспечения широты и практичности мы собрали данные от почти 100 высокообразованных лиц с разнообразным профессиональным опытом. Мы используем как автоматизированные, так и ручные процессы рецензирования для поддержания высокого качества и сложности, что приводит к тому, что эксперты-люди достигают лишь 53,7% точности при ограничении времени в 15 минут. Наша оценка показывает, что лучшая модель, отвечающая непосредственно на вопросы, достигает лишь 50,1% точности. В отличие от этого, модель o1-preview, включающая более длинные рассуждения, достигает 57,7%, превосходя базовый уровень человека на 4%. Эти результаты подчеркивают важность улучшенной способности к рассуждениям и масштабирования вычислений во время вывода для решения проблем с длинным контекстом в LongBench v2. Проект доступен по адресу https://longbench2.github.io.

English

This paper introduces LongBench v2, a benchmark designed to assess the ability of LLMs to handle long-context problems requiring deep understanding and reasoning across real-world multitasks. LongBench v2 consists of 503 challenging multiple-choice questions, with contexts ranging from 8k to 2M words, across six major task categories: single-document QA, multi-document QA, long in-context learning, long-dialogue history understanding, code repository understanding, and long structured data understanding. To ensure the breadth and the practicality, we collect data from nearly 100 highly educated individuals with diverse professional backgrounds. We employ both automated and manual review processes to maintain high quality and difficulty, resulting in human experts achieving only 53.7% accuracy under a 15-minute time constraint. Our evaluation reveals that the best-performing model, when directly answers the questions, achieves only 50.1% accuracy. In contrast, the o1-preview model, which includes longer reasoning, achieves 57.7%, surpassing the human baseline by 4%. These results highlight the importance of enhanced reasoning ability and scaling inference-time compute to tackle the long-context challenges in LongBench v2. The project is available at https://longbench2.github.io.