LongBench v2: Auf dem Weg zu einem tieferen Verständnis und Schlussfolgerungen bei realistischen Multitasking-Szenarien mit langem Kontext

LongBench v2: Towards Deeper Understanding and Reasoning on Realistic Long-context Multitasks

December 19, 2024

Autoren: Yushi Bai, Shangqing Tu, Jiajie Zhang, Hao Peng, Xiaozhi Wang, Xin Lv, Shulin Cao, Jiazheng Xu, Lei Hou, Yuxiao Dong, Jie Tang, Juanzi Li

cs.AI

Zusammenfassung

Dieses Paper stellt LongBench v2 vor, einen Benchmark, der entwickelt wurde, um die Fähigkeit von LLMs zu bewerten, langfristige Kontextprobleme zu bewältigen, die tiefgreifendes Verständnis und Schlussfolgerungen über verschiedene reale Multitasking-Aufgaben erfordern. LongBench v2 besteht aus 503 anspruchsvollen Multiple-Choice-Fragen mit Kontexten von 8k bis 2M Wörtern, die sechs Hauptaufgabenkategorien umfassen: Einzeldokumenten-Fragen, Mehrdokumenten-Fragen, langfristiges Lernen im Kontext, Verstehen von langen Dialogverläufen, Verständnis von Code-Repositories und langen strukturierten Daten. Um die Breite und Praktikabilität sicherzustellen, sammeln wir Daten von fast 100 hochqualifizierten Personen mit vielfältigen beruflichen Hintergründen. Wir nutzen sowohl automatisierte als auch manuelle Überprüfungsprozesse, um eine hohe Qualität und Schwierigkeit aufrechtzuerhalten, was dazu führt, dass menschliche Experten unter einem Zeitlimit von 15 Minuten nur eine Genauigkeit von 53,7% erreichen. Unsere Auswertung zeigt, dass das am besten abschneidende Modell, wenn es die Fragen direkt beantwortet, nur eine Genauigkeit von 50,1% erreicht. Im Gegensatz dazu erreicht das o1-preview-Modell, das längeres Schlussfolgern beinhaltet, eine Genauigkeit von 57,7%, und übertrifft damit die menschliche Basislinie um 4%. Diese Ergebnisse unterstreichen die Bedeutung einer verbesserten Schlussfolgerungsfähigkeit und einer Skalierung der Inferenzzeitberechnung, um den Herausforderungen des langfristigen Kontexts in LongBench v2 zu begegnen. Das Projekt ist unter https://longbench2.github.io verfügbar.

English

This paper introduces LongBench v2, a benchmark designed to assess the ability of LLMs to handle long-context problems requiring deep understanding and reasoning across real-world multitasks. LongBench v2 consists of 503 challenging multiple-choice questions, with contexts ranging from 8k to 2M words, across six major task categories: single-document QA, multi-document QA, long in-context learning, long-dialogue history understanding, code repository understanding, and long structured data understanding. To ensure the breadth and the practicality, we collect data from nearly 100 highly educated individuals with diverse professional backgrounds. We employ both automated and manual review processes to maintain high quality and difficulty, resulting in human experts achieving only 53.7% accuracy under a 15-minute time constraint. Our evaluation reveals that the best-performing model, when directly answers the questions, achieves only 50.1% accuracy. In contrast, the o1-preview model, which includes longer reasoning, achieves 57.7%, surpassing the human baseline by 4%. These results highlight the importance of enhanced reasoning ability and scaling inference-time compute to tackle the long-context challenges in LongBench v2. The project is available at https://longbench2.github.io.