BIG-Bench Extra Hard

BIG-Bench Extra Hard

February 26, 2025

Autoren: Mehran Kazemi, Bahare Fatemi, Hritik Bansal, John Palowitch, Chrysovalantis Anastasiou, Sanket Vaibhav Mehta, Lalit K. Jain, Virginia Aglietti, Disha Jindal, Peter Chen, Nishanth Dikkala, Gladys Tyen, Xin Liu, Uri Shalit, Silvia Chiappa, Kate Olszewska, Yi Tay, Vinh Q. Tran, Quoc V. Le, Orhan Firat

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) werden zunehmend in alltäglichen Anwendungen eingesetzt, was robuste allgemeine Denkfähigkeiten und ein vielfältiges Spektrum an Denkfertigkeiten erfordert. Allerdings konzentrieren sich die derzeitigen Benchmarks zur Bewertung der Denkfähigkeiten von LLMs hauptsächlich auf mathematische und Programmierfähigkeiten, wodurch eine Lücke bei der Bewertung breiterer Denkfähigkeiten entsteht. Eine besondere Ausnahme stellt der BIG-Bench-Datensatz dar, der als entscheidender Benchmark für die Bewertung der allgemeinen Denkfähigkeiten von LLMs dient, dank seiner vielfältigen Sammlung anspruchsvoller Aufgaben, die eine umfassende Bewertung der allgemeinen Denkfähigkeiten über verschiedene Fertigkeiten hinweg in einem einheitlichen Rahmen ermöglichten. Jüngste Fortschritte bei LLMs haben jedoch zu einer Sättigung bei BIG-Bench und seiner schwierigeren Version BIG-Bench Hard (BBH) geführt. State-of-the-Art-Modelle erzielen nahezu perfekte Ergebnisse bei vielen Aufgaben in BBH, wodurch dessen Nützlichkeit verringert wird. Um diese Einschränkung zu überwinden, führen wir BIG-Bench Extra Hard (BBEH) ein, einen neuen Benchmark, der die Grenzen der Bewertung der Denkfähigkeiten von LLMs erweitern soll. BBEH ersetzt jede Aufgabe in BBH durch eine neue Aufgabe, die eine ähnliche Denkfähigkeit untersucht, aber eine deutlich erhöhte Schwierigkeit aufweist. Wir bewerten verschiedene Modelle auf BBEH und beobachten eine (harmonische) durchschnittliche Genauigkeit von 9,8 % für das beste allgemeine Modell und 44,8 % für das beste spezialisierte Denkmodell, was auf erheblichen Verbesserungsbedarf hinweist und die anhaltende Herausforderung unterstreicht, robuste allgemeine Denkfähigkeiten in LLMs zu erreichen. Wir veröffentlichen BBEH öffentlich unter: https://github.com/google-deepmind/bbeh.

English

Large language models (LLMs) are increasingly deployed in everyday applications, demanding robust general reasoning capabilities and diverse reasoning skillset. However, current LLM reasoning benchmarks predominantly focus on mathematical and coding abilities, leaving a gap in evaluating broader reasoning proficiencies. One particular exception is the BIG-Bench dataset, which has served as a crucial benchmark for evaluating the general reasoning capabilities of LLMs, thanks to its diverse set of challenging tasks that allowed for a comprehensive assessment of general reasoning across various skills within a unified framework. However, recent advances in LLMs have led to saturation on BIG-Bench, and its harder version BIG-Bench Hard (BBH). State-of-the-art models achieve near-perfect scores on many tasks in BBH, thus diminishing its utility. To address this limitation, we introduce BIG-Bench Extra Hard (BBEH), a new benchmark designed to push the boundaries of LLM reasoning evaluation. BBEH replaces each task in BBH with a novel task that probes a similar reasoning capability but exhibits significantly increased difficulty. We evaluate various models on BBEH and observe a (harmonic) average accuracy of 9.8\% for the best general-purpose model and 44.8\% for the best reasoning-specialized model, indicating substantial room for improvement and highlighting the ongoing challenge of achieving robust general reasoning in LLMs. We release BBEH publicly at: https://github.com/google-deepmind/bbeh.