BIG-Bench Extra Difícil

BIG-Bench Extra Hard

February 26, 2025

Autores: Mehran Kazemi, Bahare Fatemi, Hritik Bansal, John Palowitch, Chrysovalantis Anastasiou, Sanket Vaibhav Mehta, Lalit K. Jain, Virginia Aglietti, Disha Jindal, Peter Chen, Nishanth Dikkala, Gladys Tyen, Xin Liu, Uri Shalit, Silvia Chiappa, Kate Olszewska, Yi Tay, Vinh Q. Tran, Quoc V. Le, Orhan Firat

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) se están implementando cada vez más en aplicaciones cotidianas, lo que exige capacidades de razonamiento general robustas y un conjunto diverso de habilidades de razonamiento. Sin embargo, los puntos de referencia actuales para evaluar el razonamiento de los LLMs se centran predominantemente en habilidades matemáticas y de programación, dejando un vacío en la evaluación de competencias de razonamiento más amplias. Una excepción particular es el conjunto de datos BIG-Bench, que ha servido como un punto de referencia crucial para evaluar las capacidades de razonamiento general de los LLMs, gracias a su diverso conjunto de tareas desafiantes que permitieron una evaluación integral del razonamiento general en diversas habilidades dentro de un marco unificado. No obstante, los avances recientes en los LLMs han llevado a la saturación en BIG-Bench y en su versión más difícil, BIG-Bench Hard (BBH). Los modelos de última generación alcanzan puntuaciones casi perfectas en muchas tareas de BBH, lo que reduce su utilidad. Para abordar esta limitación, presentamos BIG-Bench Extra Hard (BBEH), un nuevo punto de referencia diseñado para ampliar los límites de la evaluación del razonamiento en LLMs. BBEH reemplaza cada tarea en BBH con una tarea novedosa que explora una capacidad de razonamiento similar pero presenta un nivel de dificultad significativamente mayor. Evaluamos varios modelos en BBEH y observamos una precisión promedio (armónica) del 9,8% para el mejor modelo de propósito general y del 44,8% para el mejor modelo especializado en razonamiento, lo que indica un margen sustancial de mejora y resalta el desafío continuo de lograr un razonamiento general robusto en los LLMs. Publicamos BBEH de manera abierta en: https://github.com/google-deepmind/bbeh.

English

Large language models (LLMs) are increasingly deployed in everyday applications, demanding robust general reasoning capabilities and diverse reasoning skillset. However, current LLM reasoning benchmarks predominantly focus on mathematical and coding abilities, leaving a gap in evaluating broader reasoning proficiencies. One particular exception is the BIG-Bench dataset, which has served as a crucial benchmark for evaluating the general reasoning capabilities of LLMs, thanks to its diverse set of challenging tasks that allowed for a comprehensive assessment of general reasoning across various skills within a unified framework. However, recent advances in LLMs have led to saturation on BIG-Bench, and its harder version BIG-Bench Hard (BBH). State-of-the-art models achieve near-perfect scores on many tasks in BBH, thus diminishing its utility. To address this limitation, we introduce BIG-Bench Extra Hard (BBEH), a new benchmark designed to push the boundaries of LLM reasoning evaluation. BBEH replaces each task in BBH with a novel task that probes a similar reasoning capability but exhibits significantly increased difficulty. We evaluate various models on BBEH and observe a (harmonic) average accuracy of 9.8\% for the best general-purpose model and 44.8\% for the best reasoning-specialized model, indicating substantial room for improvement and highlighting the ongoing challenge of achieving robust general reasoning in LLMs. We release BBEH publicly at: https://github.com/google-deepmind/bbeh.