ARB: Geavanceerde Redeneerbenchmark voor Grote Taalmodellen

ARB: Advanced Reasoning Benchmark for Large Language Models

July 25, 2023

Auteurs: Tomohiro Sawada, Daniel Paleka, Alexander Havrilla, Pranav Tadepalli, Paula Vidas, Alexander Kranias, John J. Nay, Kshitij Gupta, Aran Komatsuzaki

cs.AI

Samenvatting

Grote Taalmodellen (LLM's) hebben opmerkelijke prestaties laten zien op diverse benchmarks voor kwantitatief redeneren en kennis. Veel van deze benchmarks verliezen echter hun nut naarmate LLM's steeds hogere scores behalen, hoewel ze nog geen expertniveau bereiken in deze domeinen. Wij introduceren ARB, een nieuwe benchmark die bestaat uit geavanceerde redeneerproblemen in meerdere vakgebieden. ARB biedt een uitdagender test dan eerdere benchmarks, met problemen op het gebied van wiskunde, natuurkunde, biologie, scheikunde en recht. Als subset van ARB introduceren we een uitdagende reeks wiskunde- en natuurkundeproblemen die geavanceerd symbolisch redeneren en domeinkennis vereisen. We evalueren recente modellen zoals GPT-4 en Claude op ARB en laten zien dat huidige modellen aanzienlijk onder de 50% scoren op veeleisendere taken. Om zowel automatische als ondersteunde evaluatiemogelijkheden te verbeteren, introduceren we een rubricagebaseerde evaluatieaanpak, waardoor GPT-4 zijn eigen tussenliggende redeneerstappen kan beoordelen. Daarnaast voeren we een menselijke evaluatie uit van de symbolische subset van ARB, waarbij we veelbelovende overeenstemming vinden tussen annotators en de rubricage-evaluatiescores van GPT-4.

English

Large Language Models (LLMs) have demonstrated remarkable performance on various quantitative reasoning and knowledge benchmarks. However, many of these benchmarks are losing utility as LLMs get increasingly high scores, despite not yet reaching expert performance in these domains. We introduce ARB, a novel benchmark composed of advanced reasoning problems in multiple fields. ARB presents a more challenging test than prior benchmarks, featuring problems in mathematics, physics, biology, chemistry, and law. As a subset of ARB, we introduce a challenging set of math and physics problems which require advanced symbolic reasoning and domain knowledge. We evaluate recent models such as GPT-4 and Claude on ARB and demonstrate that current models score well below 50% on more demanding tasks. In order to improve both automatic and assisted evaluation capabilities, we introduce a rubric-based evaluation approach, allowing GPT-4 to score its own intermediate reasoning steps. Further, we conduct a human evaluation of the symbolic subset of ARB, finding promising agreement between annotators and GPT-4 rubric evaluation scores.