多様な推論と検証による高度な推論

Diverse Inference and Verification for Advanced Reasoning

February 14, 2025

著者: Iddo Drori, Gaston Longhitano, Mao Mao, Seunghwan Hyun, Yuke Zhang, Sungjun Park, Zachary Meeks, Xin-Yu Zhang, Ben Segev, Howard Yong, Nakul Verma, Avi Shporer, Alon Amit, Madeleine Udell

cs.AI

要旨

OpenAIのo1、o3やDeepSeekのR1といった推論型LLMは、数学やコーディングにおいて大きな進歩を遂げていますが、国際数学オリンピック（IMO）の組み合わせ問題、Abstraction and Reasoning Corpus（ARC）パズル、Humanity's Last Exam（HLE）問題といった高度な課題には依然として苦戦しています。我々は、テスト時に複数のモデルと手法を組み合わせた多様な推論アプローチを採用しています。数学やコード問題の検証、および他の問題に対するリジェクションサンプリングがシンプルかつ効果的であることを確認しました。IMO問題の正しさはLeanによって、ARCパズルはコードによって自動的に検証し、HLE問題に対してはbest-of-Nが有効であることを見出しました。我々のアプローチにより、IMO組み合わせ問題の正答率は33.3%から77.8%に、HLE問題の正答率は8%から37%に向上し、948人の人間が解けなかったARCパズルの80%、o3高計算リソースでも解けなかったARCパズルの26.5%を解決しました。テスト時のシミュレーション、強化学習、および推論フィードバックを用いたメタ学習により、エージェントのグラフ表現を適応させ、プロンプト、コード、データセットを変化させることで汎化性能を向上させています。我々のアプローチは信頼性、堅牢性、拡張性を備えており、再現可能な研究の精神に則り、公開時に一般公開する予定です。

English

Reasoning LLMs such as OpenAI o1, o3 and DeepSeek R1 have made significant progress in mathematics and coding, yet find challenging advanced tasks such as International Mathematical Olympiad (IMO) combinatorics problems, Abstraction and Reasoning Corpus (ARC) puzzles, and Humanity's Last Exam (HLE) questions. We use a diverse inference approach that combines multiple models and methods at test time. We find that verifying mathematics and code problems, and rejection sampling on other problems is simple and effective. We automatically verify correctness of solutions to IMO problems by Lean, and ARC puzzles by code, and find that best-of-N effectively answers HLE questions. Our approach increases answer accuracy on IMO combinatorics problems from 33.3% to 77.8%, accuracy on HLE questions from 8% to 37%, and solves 80% of ARC puzzles that 948 humans could not and 26.5% of ARC puzzles that o3 high compute does not. Test-time simulations, reinforcement learning, and meta-learning with inference feedback improve generalization by adapting agent graph representations and varying prompts, code, and datasets. Our approach is reliable, robust, and scalable, and in the spirit of reproducible research, we will make it publicly available upon publication.