ARB: Расширенный эталонный тест для оценки логического мышления в больших языковых моделях

ARB: Advanced Reasoning Benchmark for Large Language Models

July 25, 2023

Авторы: Tomohiro Sawada, Daniel Paleka, Alexander Havrilla, Pranav Tadepalli, Paula Vidas, Alexander Kranias, John J. Nay, Kshitij Gupta, Aran Komatsuzaki

cs.AI

Аннотация

Крупные языковые модели (LLM) продемонстрировали выдающиеся результаты на различных тестах количественного мышления и проверки знаний. Однако многие из этих тестов теряют свою полезность, поскольку LLM достигают всё более высоких баллов, хотя ещё не достигают экспертного уровня в этих областях. Мы представляем ARB — новый тест, состоящий из задач на продвинутое логическое мышление в различных областях. ARB предлагает более сложные задачи по сравнению с предыдущими тестами, включая проблемы из математики, физики, биологии, химии и права. В качестве подмножества ARB мы представляем набор сложных задач по математике и физике, которые требуют продвинутого символьного мышления и глубоких знаний в предметной области. Мы оцениваем современные модели, такие как GPT-4 и Claude, на тесте ARB и показываем, что текущие модели набирают менее 50% баллов на более сложных задачах. Для улучшения как автоматической, так и ассистированной оценки мы вводим подход к оценке на основе рубрик, позволяющий GPT-4 оценивать свои промежуточные шаги рассуждений. Кроме того, мы проводим экспертный анализ символьного подмножества ARB, обнаруживая многообещающее согласие между оценками аннотаторов и результатами оценки GPT-4 по рубрикам.

English

Large Language Models (LLMs) have demonstrated remarkable performance on various quantitative reasoning and knowledge benchmarks. However, many of these benchmarks are losing utility as LLMs get increasingly high scores, despite not yet reaching expert performance in these domains. We introduce ARB, a novel benchmark composed of advanced reasoning problems in multiple fields. ARB presents a more challenging test than prior benchmarks, featuring problems in mathematics, physics, biology, chemistry, and law. As a subset of ARB, we introduce a challenging set of math and physics problems which require advanced symbolic reasoning and domain knowledge. We evaluate recent models such as GPT-4 and Claude on ARB and demonstrate that current models score well below 50% on more demanding tasks. In order to improve both automatic and assisted evaluation capabilities, we introduce a rubric-based evaluation approach, allowing GPT-4 to score its own intermediate reasoning steps. Further, we conduct a human evaluation of the symbolic subset of ARB, finding promising agreement between annotators and GPT-4 rubric evaluation scores.