LongBench v2: Hacia una comprensión y razonamiento más profundos en tareas multitarea de largo contexto realistas.

LongBench v2: Towards Deeper Understanding and Reasoning on Realistic Long-context Multitasks

December 19, 2024

Autores: Yushi Bai, Shangqing Tu, Jiajie Zhang, Hao Peng, Xiaozhi Wang, Xin Lv, Shulin Cao, Jiazheng Xu, Lei Hou, Yuxiao Dong, Jie Tang, Juanzi Li

cs.AI

Resumen

Este documento presenta LongBench v2, un benchmark diseñado para evaluar la capacidad de LLMs para manejar problemas de largo contexto que requieren comprensión profunda y razonamiento a través de multitareas del mundo real. LongBench v2 consta de 503 preguntas desafiantes de opción múltiple, con contextos que van desde 8k hasta 2M palabras, abarcando seis categorías principales de tareas: preguntas y respuestas de un solo documento, preguntas y respuestas de múltiples documentos, aprendizaje en contexto largo, comprensión de historial de diálogo extenso, comprensión de repositorio de código y comprensión de datos estructurados extensos. Para garantizar la amplitud y la practicidad, recopilamos datos de casi 100 individuos altamente educados con diversos antecedentes profesionales. Empleamos procesos de revisión automatizados y manuales para mantener alta calidad y dificultad, lo que resulta en que expertos humanos logren solo un 53.7% de precisión bajo una restricción de tiempo de 15 minutos. Nuestra evaluación revela que el modelo de mejor rendimiento, al responder directamente las preguntas, logra solo un 50.1% de precisión. En contraste, el modelo o1-preview, que incluye un razonamiento más extenso, alcanza un 57.7%, superando la línea base humana en un 4%. Estos resultados resaltan la importancia de la capacidad mejorada de razonamiento y la escalabilidad del cálculo en tiempo de inferencia para abordar los desafíos de largo contexto en LongBench v2. El proyecto está disponible en https://longbench2.github.io.

English

This paper introduces LongBench v2, a benchmark designed to assess the ability of LLMs to handle long-context problems requiring deep understanding and reasoning across real-world multitasks. LongBench v2 consists of 503 challenging multiple-choice questions, with contexts ranging from 8k to 2M words, across six major task categories: single-document QA, multi-document QA, long in-context learning, long-dialogue history understanding, code repository understanding, and long structured data understanding. To ensure the breadth and the practicality, we collect data from nearly 100 highly educated individuals with diverse professional backgrounds. We employ both automated and manual review processes to maintain high quality and difficulty, resulting in human experts achieving only 53.7% accuracy under a 15-minute time constraint. Our evaluation reveals that the best-performing model, when directly answers the questions, achieves only 50.1% accuracy. In contrast, the o1-preview model, which includes longer reasoning, achieves 57.7%, surpassing the human baseline by 4%. These results highlight the importance of enhanced reasoning ability and scaling inference-time compute to tackle the long-context challenges in LongBench v2. The project is available at https://longbench2.github.io.