ARB: 大規模言語モデルのための高度推論ベンチマーク

要旨

大規模言語モデル（LLM）は、さまざまな定量的推論や知識ベンチマークにおいて顕著な性能を発揮してきました。しかし、これらのベンチマークの多くは、LLMがこれらの領域で専門家レベルの性能に達していないにもかかわらず、スコアがますます高くなるにつれて有用性を失いつつあります。本研究では、複数の分野における高度な推論問題で構成された新しいベンチマーク「ARB」を紹介します。ARBは、数学、物理学、生物学、化学、法律の問題を特徴とする、従来のベンチマークよりも挑戦的なテストを提供します。ARBの一部として、高度な記号推論とドメイン知識を必要とする数学と物理学の問題セットを導入します。GPT-4やClaudeなどの最近のモデルをARBで評価し、現在のモデルがより要求の厳しいタスクで50％を大きく下回るスコアを示すことを実証します。自動評価と支援評価の両方の能力を向上させるために、GPT-4が自身の中間推論ステップを採点できるルーブリックベースの評価アプローチを導入します。さらに、ARBの記号推論サブセットに対する人間による評価を実施し、アノテーターとGPT-4のルーブリック評価スコアの間に有望な一致が見られることを確認します。

English

Large Language Models (LLMs) have demonstrated remarkable performance on various quantitative reasoning and knowledge benchmarks. However, many of these benchmarks are losing utility as LLMs get increasingly high scores, despite not yet reaching expert performance in these domains. We introduce ARB, a novel benchmark composed of advanced reasoning problems in multiple fields. ARB presents a more challenging test than prior benchmarks, featuring problems in mathematics, physics, biology, chemistry, and law. As a subset of ARB, we introduce a challenging set of math and physics problems which require advanced symbolic reasoning and domain knowledge. We evaluate recent models such as GPT-4 and Claude on ARB and demonstrate that current models score well below 50% on more demanding tasks. In order to improve both automatic and assisted evaluation capabilities, we introduce a rubric-based evaluation approach, allowing GPT-4 to score its own intermediate reasoning steps. Further, we conduct a human evaluation of the symbolic subset of ARB, finding promising agreement between annotators and GPT-4 rubric evaluation scores.

ARB: 大規模言語モデルのための高度推論ベンチマーク

ARB: Advanced Reasoning Benchmark for Large Language Models

要旨

Support