LongBench v2: Naar een dieper begrip en redenering over realistische multitasks met lange context.

LongBench v2: Towards Deeper Understanding and Reasoning on Realistic Long-context Multitasks

December 19, 2024

Auteurs: Yushi Bai, Shangqing Tu, Jiajie Zhang, Hao Peng, Xiaozhi Wang, Xin Lv, Shulin Cao, Jiazheng Xu, Lei Hou, Yuxiao Dong, Jie Tang, Juanzi Li

cs.AI

Samenvatting

Deze paper introduceert LongBench v2, een benchmark ontworpen om de capaciteit van LLMs te beoordelen om lange-context problemen aan te pakken die diepgaand begrip en redenering vereisen over multitaken in de echte wereld. LongBench v2 bestaat uit 503 uitdagende meerkeuzevragen, met contexten variërend van 8k tot 2M woorden, verdeeld over zes belangrijke taakcategorieën: vraag-antwoord op basis van één document, vraag-antwoord op basis van meerdere documenten, langdurig in-context leren, begrip van lange dialooggeschiedenis, begrip van code-opslagplaatsen en begrip van lang gestructureerde data. Om de breedte en praktische toepasbaarheid te waarborgen, verzamelen we gegevens van bijna 100 hoogopgeleide personen met diverse professionele achtergronden. We maken gebruik van zowel geautomatiseerde als handmatige beoordelingsprocessen om een hoge kwaliteit en moeilijkheidsgraad te handhaven, resulterend in menselijke experts die slechts 53,7% nauwkeurigheid behalen onder een tijdsbeperking van 15 minuten. Onze evaluatie onthult dat het best presterende model, wanneer direct antwoord geeft op de vragen, slechts 50,1% nauwkeurigheid behaalt. Daarentegen behaalt het o1-preview model, dat langer redeneren omvat, 57,7%, waarmee het de menselijke basislijn met 4% overtreft. Deze resultaten benadrukken het belang van verbeterde redeneervaardigheden en het schalen van inferentietijd-rekenkracht om de uitdagingen van lange-context in LongBench v2 aan te pakken. Het project is beschikbaar op https://longbench2.github.io.

English

This paper introduces LongBench v2, a benchmark designed to assess the ability of LLMs to handle long-context problems requiring deep understanding and reasoning across real-world multitasks. LongBench v2 consists of 503 challenging multiple-choice questions, with contexts ranging from 8k to 2M words, across six major task categories: single-document QA, multi-document QA, long in-context learning, long-dialogue history understanding, code repository understanding, and long structured data understanding. To ensure the breadth and the practicality, we collect data from nearly 100 highly educated individuals with diverse professional backgrounds. We employ both automated and manual review processes to maintain high quality and difficulty, resulting in human experts achieving only 53.7% accuracy under a 15-minute time constraint. Our evaluation reveals that the best-performing model, when directly answers the questions, achieves only 50.1% accuracy. In contrast, the o1-preview model, which includes longer reasoning, achieves 57.7%, surpassing the human baseline by 4%. These results highlight the importance of enhanced reasoning ability and scaling inference-time compute to tackle the long-context challenges in LongBench v2. The project is available at https://longbench2.github.io.