BIG-Bench Extra Difícil

BIG-Bench Extra Hard

February 26, 2025

Autores: Mehran Kazemi, Bahare Fatemi, Hritik Bansal, John Palowitch, Chrysovalantis Anastasiou, Sanket Vaibhav Mehta, Lalit K. Jain, Virginia Aglietti, Disha Jindal, Peter Chen, Nishanth Dikkala, Gladys Tyen, Xin Liu, Uri Shalit, Silvia Chiappa, Kate Olszewska, Yi Tay, Vinh Q. Tran, Quoc V. Le, Orhan Firat

cs.AI

Resumo

Os grandes modelos de linguagem (LLMs) estão cada vez mais sendo utilizados em aplicações cotidianas, exigindo capacidades robustas de raciocínio geral e um conjunto diversificado de habilidades de raciocínio. No entanto, os benchmarks de raciocínio atuais para LLMs focam predominantemente em habilidades matemáticas e de codificação, deixando uma lacuna na avaliação de proficiências de raciocínio mais amplas. Uma exceção particular é o conjunto de dados BIG-Bench, que tem sido um benchmark crucial para avaliar as capacidades de raciocínio geral dos LLMs, graças ao seu conjunto diversificado de tarefas desafiadoras que permitiram uma avaliação abrangente do raciocínio geral em várias habilidades dentro de um framework unificado. No entanto, avanços recentes em LLMs levaram à saturação no BIG-Bench e em sua versão mais difícil, o BIG-Bench Hard (BBH). Modelos de ponta alcançam pontuações quase perfeitas em muitas tarefas no BBH, diminuindo assim sua utilidade. Para lidar com essa limitação, introduzimos o BIG-Bench Extra Hard (BBEH), um novo benchmark projetado para desafiar os limites da avaliação de raciocínio em LLMs. O BBEH substitui cada tarefa no BBH por uma tarefa inovadora que investiga uma capacidade de raciocínio similar, mas apresenta dificuldade significativamente aumentada. Avaliamos vários modelos no BBEH e observamos uma precisão média (harmônica) de 9,8% para o melhor modelo de propósito geral e 44,8% para o melhor modelo especializado em raciocínio, indicando um amplo espaço para melhorias e destacando o desafio contínuo de alcançar um raciocínio geral robusto em LLMs. Disponibilizamos o BBEH publicamente em: https://github.com/google-deepmind/bbeh.

English

Large language models (LLMs) are increasingly deployed in everyday applications, demanding robust general reasoning capabilities and diverse reasoning skillset. However, current LLM reasoning benchmarks predominantly focus on mathematical and coding abilities, leaving a gap in evaluating broader reasoning proficiencies. One particular exception is the BIG-Bench dataset, which has served as a crucial benchmark for evaluating the general reasoning capabilities of LLMs, thanks to its diverse set of challenging tasks that allowed for a comprehensive assessment of general reasoning across various skills within a unified framework. However, recent advances in LLMs have led to saturation on BIG-Bench, and its harder version BIG-Bench Hard (BBH). State-of-the-art models achieve near-perfect scores on many tasks in BBH, thus diminishing its utility. To address this limitation, we introduce BIG-Bench Extra Hard (BBEH), a new benchmark designed to push the boundaries of LLM reasoning evaluation. BBEH replaces each task in BBH with a novel task that probes a similar reasoning capability but exhibits significantly increased difficulty. We evaluate various models on BBEH and observe a (harmonic) average accuracy of 9.8\% for the best general-purpose model and 44.8\% for the best reasoning-specialized model, indicating substantial room for improvement and highlighting the ongoing challenge of achieving robust general reasoning in LLMs. We release BBEH publicly at: https://github.com/google-deepmind/bbeh.