ARB: Benchmark Avançado de Raciocínio para Modelos de Linguagem de Grande Escala

ARB: Advanced Reasoning Benchmark for Large Language Models

July 25, 2023

Autores: Tomohiro Sawada, Daniel Paleka, Alexander Havrilla, Pranav Tadepalli, Paula Vidas, Alexander Kranias, John J. Nay, Kshitij Gupta, Aran Komatsuzaki

cs.AI

Resumo

Os Modelos de Linguagem de Grande Escala (LLMs) têm demonstrado desempenho notável em diversos benchmarks de raciocínio quantitativo e conhecimento. No entanto, muitos desses benchmarks estão perdendo utilidade à medida que os LLMs alcançam pontuações cada vez mais altas, apesar de ainda não atingirem desempenho especializado nesses domínios. Apresentamos o ARB, um novo benchmark composto por problemas avançados de raciocínio em múltiplas áreas. O ARB oferece um teste mais desafiador do que benchmarks anteriores, apresentando problemas em matemática, física, biologia, química e direito. Como um subconjunto do ARB, introduzimos um conjunto desafiador de problemas de matemática e física que exigem raciocínio simbólico avançado e conhecimento de domínio. Avaliamos modelos recentes, como GPT-4 e Claude, no ARB e demonstramos que os modelos atuais pontuam bem abaixo de 50% em tarefas mais exigentes. Para melhorar tanto as capacidades de avaliação automática quanto assistida, introduzimos uma abordagem de avaliação baseada em rubricas, permitindo que o GPT-4 pontue suas próprias etapas intermediárias de raciocínio. Além disso, conduzimos uma avaliação humana do subconjunto simbólico do ARB, encontrando uma concordância promissora entre os anotadores e as pontuações de avaliação por rubrica do GPT-4.

English

Large Language Models (LLMs) have demonstrated remarkable performance on various quantitative reasoning and knowledge benchmarks. However, many of these benchmarks are losing utility as LLMs get increasingly high scores, despite not yet reaching expert performance in these domains. We introduce ARB, a novel benchmark composed of advanced reasoning problems in multiple fields. ARB presents a more challenging test than prior benchmarks, featuring problems in mathematics, physics, biology, chemistry, and law. As a subset of ARB, we introduce a challenging set of math and physics problems which require advanced symbolic reasoning and domain knowledge. We evaluate recent models such as GPT-4 and Claude on ARB and demonstrate that current models score well below 50% on more demanding tasks. In order to improve both automatic and assisted evaluation capabilities, we introduce a rubric-based evaluation approach, allowing GPT-4 to score its own intermediate reasoning steps. Further, we conduct a human evaluation of the symbolic subset of ARB, finding promising agreement between annotators and GPT-4 rubric evaluation scores.