LongBench v2 : Vers une compréhension et un raisonnement plus approfondis sur des tâches multiples à long contexte réalistes

LongBench v2: Towards Deeper Understanding and Reasoning on Realistic Long-context Multitasks

December 19, 2024

Auteurs: Yushi Bai, Shangqing Tu, Jiajie Zhang, Hao Peng, Xiaozhi Wang, Xin Lv, Shulin Cao, Jiazheng Xu, Lei Hou, Yuxiao Dong, Jie Tang, Juanzi Li

cs.AI

Résumé

Cet article présente LongBench v2, un banc d'essai conçu pour évaluer la capacité des LLM à traiter des problèmes de long contexte nécessitant une compréhension approfondie et un raisonnement à travers des tâches multiples du monde réel. LongBench v2 se compose de 503 questions à choix multiples exigeantes, avec des contextes allant de 8k à 2M mots, réparties en six grandes catégories de tâches : questions-réponses sur un seul document, questions-réponses sur plusieurs documents, apprentissage de long contexte, compréhension de l'historique de dialogues longs, compréhension de dépôts de code et compréhension de données structurées longues. Pour garantir l'étendue et la praticité, nous collectons des données auprès de près de 100 individus hautement éduqués avec des parcours professionnels diversifiés. Nous utilisons à la fois des processus d'examen automatisés et manuels pour maintenir une qualité et une difficulté élevées, ce qui se traduit par des experts humains n'atteignant qu'une précision de 53,7 % sous contrainte de temps de 15 minutes. Notre évaluation révèle que le modèle le plus performant, lorsqu'il répond directement aux questions, n'atteint qu'une précision de 50,1 %. En revanche, le modèle o1-preview, qui inclut un raisonnement plus long, atteint 57,7 %, dépassant la référence humaine de 4 %. Ces résultats soulignent l'importance d'une capacité de raisonnement améliorée et de l'adaptation du calcul au temps d'inférence pour relever les défis de long contexte de LongBench v2. Le projet est disponible sur https://longbench2.github.io.

English

This paper introduces LongBench v2, a benchmark designed to assess the ability of LLMs to handle long-context problems requiring deep understanding and reasoning across real-world multitasks. LongBench v2 consists of 503 challenging multiple-choice questions, with contexts ranging from 8k to 2M words, across six major task categories: single-document QA, multi-document QA, long in-context learning, long-dialogue history understanding, code repository understanding, and long structured data understanding. To ensure the breadth and the practicality, we collect data from nearly 100 highly educated individuals with diverse professional backgrounds. We employ both automated and manual review processes to maintain high quality and difficulty, resulting in human experts achieving only 53.7% accuracy under a 15-minute time constraint. Our evaluation reveals that the best-performing model, when directly answers the questions, achieves only 50.1% accuracy. In contrast, the o1-preview model, which includes longer reasoning, achieves 57.7%, surpassing the human baseline by 4%. These results highlight the importance of enhanced reasoning ability and scaling inference-time compute to tackle the long-context challenges in LongBench v2. The project is available at https://longbench2.github.io.