ARB: Punto de Referencia Avanzado para el Razonamiento en Modelos de Lenguaje de Gran Escala

ARB: Advanced Reasoning Benchmark for Large Language Models

July 25, 2023

Autores: Tomohiro Sawada, Daniel Paleka, Alexander Havrilla, Pranav Tadepalli, Paula Vidas, Alexander Kranias, John J. Nay, Kshitij Gupta, Aran Komatsuzaki

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han demostrado un rendimiento notable en diversos puntos de referencia de razonamiento cuantitativo y conocimiento. Sin embargo, muchos de estos puntos de referencia están perdiendo utilidad a medida que los LLMs obtienen puntuaciones cada vez más altas, a pesar de no alcanzar aún un rendimiento experto en estos dominios. Presentamos ARB, un nuevo punto de referencia compuesto por problemas avanzados de razonamiento en múltiples campos. ARB ofrece una prueba más desafiante que los puntos de referencia anteriores, con problemas en matemáticas, física, biología, química y derecho. Como subconjunto de ARB, introducimos un conjunto desafiante de problemas de matemáticas y física que requieren razonamiento simbólico avanzado y conocimiento del dominio. Evaluamos modelos recientes como GPT-4 y Claude en ARB y demostramos que los modelos actuales obtienen puntuaciones muy por debajo del 50% en tareas más exigentes. Para mejorar tanto las capacidades de evaluación automática como asistida, introducimos un enfoque de evaluación basado en rúbricas, permitiendo que GPT-4 califique sus propios pasos intermedios de razonamiento. Además, realizamos una evaluación humana del subconjunto simbólico de ARB, encontrando una prometedora concordancia entre los anotadores y las puntuaciones de evaluación basadas en la rúbrica de GPT-4.

English

Large Language Models (LLMs) have demonstrated remarkable performance on various quantitative reasoning and knowledge benchmarks. However, many of these benchmarks are losing utility as LLMs get increasingly high scores, despite not yet reaching expert performance in these domains. We introduce ARB, a novel benchmark composed of advanced reasoning problems in multiple fields. ARB presents a more challenging test than prior benchmarks, featuring problems in mathematics, physics, biology, chemistry, and law. As a subset of ARB, we introduce a challenging set of math and physics problems which require advanced symbolic reasoning and domain knowledge. We evaluate recent models such as GPT-4 and Claude on ARB and demonstrate that current models score well below 50% on more demanding tasks. In order to improve both automatic and assisted evaluation capabilities, we introduce a rubric-based evaluation approach, allowing GPT-4 to score its own intermediate reasoning steps. Further, we conduct a human evaluation of the symbolic subset of ARB, finding promising agreement between annotators and GPT-4 rubric evaluation scores.