ARB: Fortgeschrittener Bewertungsmaßstab für das logische Denken von großen Sprachmodellen

Zusammenfassung

Große Sprachmodelle (LLMs) haben bemerkenswerte Leistungen bei verschiedenen Benchmarks für quantitatives Denken und Wissen gezeigt. Allerdings verlieren viele dieser Benchmarks an Nutzen, da LLMs zunehmend hohe Punktzahlen erreichen, obwohl sie in diesen Domänen noch keine Expertenleistung erbringen. Wir stellen ARB vor, einen neuartigen Benchmark, der aus fortgeschrittenen Denkproblemen in mehreren Fachgebieten besteht. ARB bietet eine anspruchsvollere Prüfung als bisherige Benchmarks und umfasst Probleme aus den Bereichen Mathematik, Physik, Biologie, Chemie und Recht. Als Teilmenge von ARB führen wir eine anspruchsvolle Sammlung von Mathematik- und Physikproblemen ein, die fortgeschrittenes symbolisches Denken und Fachwissen erfordern. Wir bewerten aktuelle Modelle wie GPT-4 und Claude anhand von ARB und zeigen, dass die derzeitigen Modelle bei anspruchsvolleren Aufgaben deutlich unter 50 % liegen. Um sowohl die automatische als auch die unterstützte Bewertungsfähigkeit zu verbessern, führen wir einen rubrikbasierten Bewertungsansatz ein, der es GPT-4 ermöglicht, seine eigenen Zwischenschritte der Argumentation zu bewerten. Darüber hinaus führen wir eine menschliche Bewertung des symbolischen Teils von ARB durch und finden eine vielversprechende Übereinstimmung zwischen den Annotatoren und den Bewertungsergebnissen von GPT-4 gemäß der Rubrik.

English

Large Language Models (LLMs) have demonstrated remarkable performance on various quantitative reasoning and knowledge benchmarks. However, many of these benchmarks are losing utility as LLMs get increasingly high scores, despite not yet reaching expert performance in these domains. We introduce ARB, a novel benchmark composed of advanced reasoning problems in multiple fields. ARB presents a more challenging test than prior benchmarks, featuring problems in mathematics, physics, biology, chemistry, and law. As a subset of ARB, we introduce a challenging set of math and physics problems which require advanced symbolic reasoning and domain knowledge. We evaluate recent models such as GPT-4 and Claude on ARB and demonstrate that current models score well below 50% on more demanding tasks. In order to improve both automatic and assisted evaluation capabilities, we introduce a rubric-based evaluation approach, allowing GPT-4 to score its own intermediate reasoning steps. Further, we conduct a human evaluation of the symbolic subset of ARB, finding promising agreement between annotators and GPT-4 rubric evaluation scores.

ARB: Fortgeschrittener Bewertungsmaßstab für das logische Denken von großen Sprachmodellen

ARB: Advanced Reasoning Benchmark for Large Language Models

Zusammenfassung

Support