ARB: Benchmark Avanzato per il Ragionamento nei Modelli Linguistici di Grande Dimensione

ARB: Advanced Reasoning Benchmark for Large Language Models

July 25, 2023

Autori: Tomohiro Sawada, Daniel Paleka, Alexander Havrilla, Pranav Tadepalli, Paula Vidas, Alexander Kranias, John J. Nay, Kshitij Gupta, Aran Komatsuzaki

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) hanno dimostrato prestazioni notevoli su vari benchmark di ragionamento quantitativo e conoscenza. Tuttavia, molti di questi benchmark stanno perdendo utilità man mano che gli LLM ottengono punteggi sempre più alti, nonostante non abbiano ancora raggiunto prestazioni di livello esperto in questi domini. Introduciamo ARB, un nuovo benchmark composto da problemi avanzati di ragionamento in più campi. ARB rappresenta una prova più impegnativa rispetto ai benchmark precedenti, includendo problemi di matematica, fisica, biologia, chimica e diritto. Come sottoinsieme di ARB, presentiamo una serie impegnativa di problemi di matematica e fisica che richiedono ragionamento simbolico avanzato e conoscenza di dominio. Valutiamo modelli recenti come GPT-4 e Claude su ARB e dimostriamo che i modelli attuali ottengono punteggi ben al di sotto del 50% su compiti più impegnativi. Per migliorare sia le capacità di valutazione automatica che assistita, introduciamo un approccio di valutazione basato su rubriche, consentendo a GPT-4 di valutare i propri passaggi intermedi di ragionamento. Inoltre, conduciamo una valutazione umana del sottoinsieme simbolico di ARB, riscontrando una promettente concordanza tra gli annotatori e i punteggi di valutazione basati sulle rubriche di GPT-4.

English

Large Language Models (LLMs) have demonstrated remarkable performance on various quantitative reasoning and knowledge benchmarks. However, many of these benchmarks are losing utility as LLMs get increasingly high scores, despite not yet reaching expert performance in these domains. We introduce ARB, a novel benchmark composed of advanced reasoning problems in multiple fields. ARB presents a more challenging test than prior benchmarks, featuring problems in mathematics, physics, biology, chemistry, and law. As a subset of ARB, we introduce a challenging set of math and physics problems which require advanced symbolic reasoning and domain knowledge. We evaluate recent models such as GPT-4 and Claude on ARB and demonstrate that current models score well below 50% on more demanding tasks. In order to improve both automatic and assisted evaluation capabilities, we introduce a rubric-based evaluation approach, allowing GPT-4 to score its own intermediate reasoning steps. Further, we conduct a human evaluation of the symbolic subset of ARB, finding promising agreement between annotators and GPT-4 rubric evaluation scores.