BIG-Bench Extra Difficile

Résumé

Les grands modèles de langage (LLM) sont de plus en plus déployés dans des applications quotidiennes, nécessitant des capacités de raisonnement général robustes et un ensemble diversifié de compétences en raisonnement. Cependant, les benchmarks actuels évaluant le raisonnement des LLM se concentrent principalement sur les aptitudes mathématiques et de codage, laissant un vide dans l'évaluation des compétences de raisonnement plus larges. Une exception notable est le jeu de données BIG-Bench, qui a servi de référence cruciale pour évaluer les capacités de raisonnement général des LLM, grâce à son ensemble varié de tâches complexes permettant une évaluation complète du raisonnement général à travers diverses compétences dans un cadre unifié. Cependant, les récentes avancées des LLM ont conduit à une saturation sur BIG-Bench et sa version plus difficile, BIG-Bench Hard (BBH). Les modèles de pointe atteignent des scores quasi parfaits sur de nombreuses tâches de BBH, réduisant ainsi son utilité. Pour pallier cette limitation, nous introduisons BIG-Bench Extra Hard (BBEH), un nouveau benchmark conçu pour repousser les limites de l'évaluation du raisonnement des LLM. BBEH remplace chaque tâche de BBH par une nouvelle tâche qui explore une capacité de raisonnement similaire mais présente une difficulté significativement accrue. Nous évaluons divers modèles sur BBEH et observons une précision moyenne (harmonique) de 9,8 % pour le meilleur modèle à usage général et de 44,8 % pour le meilleur modèle spécialisé en raisonnement, indiquant une marge d'amélioration substantielle et soulignant le défi continu d'atteindre un raisonnement général robuste dans les LLM. Nous rendons BBEH public à l'adresse suivante : https://github.com/google-deepmind/bbeh.

English

Large language models (LLMs) are increasingly deployed in everyday applications, demanding robust general reasoning capabilities and diverse reasoning skillset. However, current LLM reasoning benchmarks predominantly focus on mathematical and coding abilities, leaving a gap in evaluating broader reasoning proficiencies. One particular exception is the BIG-Bench dataset, which has served as a crucial benchmark for evaluating the general reasoning capabilities of LLMs, thanks to its diverse set of challenging tasks that allowed for a comprehensive assessment of general reasoning across various skills within a unified framework. However, recent advances in LLMs have led to saturation on BIG-Bench, and its harder version BIG-Bench Hard (BBH). State-of-the-art models achieve near-perfect scores on many tasks in BBH, thus diminishing its utility. To address this limitation, we introduce BIG-Bench Extra Hard (BBEH), a new benchmark designed to push the boundaries of LLM reasoning evaluation. BBEH replaces each task in BBH with a novel task that probes a similar reasoning capability but exhibits significantly increased difficulty. We evaluate various models on BBEH and observe a (harmonic) average accuracy of 9.8\% for the best general-purpose model and 44.8\% for the best reasoning-specialized model, indicating substantial room for improvement and highlighting the ongoing challenge of achieving robust general reasoning in LLMs. We release BBEH publicly at: https://github.com/google-deepmind/bbeh.