OpenAIのo1モデルの推論パターンに関する比較研究

A Comparative Study on Reasoning Patterns of OpenAI's o1 Model

October 17, 2024

著者: Siwei Wu, Zhongyuan Peng, Xinrun Du, Tuney Zheng, Minghao Liu, Jialong Wu, Jiachen Ma, Yizhi Li, Jian Yang, Wangchunshu Zhou, Qunshu Lin, Junbo Zhao, Zhaoxiang Zhang, Wenhao Huang, Ge Zhang, Chenghua Lin, J. H. Liu

cs.AI

要旨

大規模言語モデル（LLMs）がより広範囲の複雑なタスク（例：コーディング、数学）を処理できるようにすることは、多くの研究者の大きな関心を集めています。LLMsは進化を続ける中、単にモデルパラメータの数を増やすだけでは性能向上が限定され、計算コストが高くなります。最近、OpenAIのo1モデルは、推論戦略（すなわち、テスト時計算方法）がLLMsの推論能力を著しく向上させることも示しています。ただし、これらの方法の背後にあるメカニズムは未だに未解明です。本研究では、o1の推論パターンを調査するために、OpenAIのGPT-4oをバックボーンとして、数学、コーディング、常識的推論の3つの領域で一般的な推論ベンチマークを使用し、o1を既存のテスト時計算方法（BoN、Step-wise BoN、Agent Workflow、Self-Refine）と比較します。具体的には、第一に、実験結果はo1モデルがほとんどのデータセットで最良の性能を達成したことを示しています。第二に、異なる応答を探索する方法（例：BoN）に関して、報酬モデルの能力と探索空間の両方がこれらの方法の上限を制限していることが分かりました。第三に、問題を多くのサブ問題に分割する方法に関して、Agent Workflowは、計画をより良い推論プロセスにするためのドメイン固有のシステムプロンプトにより、Step-wise BoNよりも優れたパフォーマンスを達成しました。第四に、o1の6つの推論パターンをまとめ、いくつかの推論ベンチマークについて詳細な分析を提供しました。

English

Enabling Large Language Models (LLMs) to handle a wider range of complex tasks (e.g., coding, math) has drawn great attention from many researchers. As LLMs continue to evolve, merely increasing the number of model parameters yields diminishing performance improvements and heavy computational costs. Recently, OpenAI's o1 model has shown that inference strategies (i.e., Test-time Compute methods) can also significantly enhance the reasoning capabilities of LLMs. However, the mechanisms behind these methods are still unexplored. In our work, to investigate the reasoning patterns of o1, we compare o1 with existing Test-time Compute methods (BoN, Step-wise BoN, Agent Workflow, and Self-Refine) by using OpenAI's GPT-4o as a backbone on general reasoning benchmarks in three domains (i.e., math, coding, commonsense reasoning). Specifically, first, our experiments show that the o1 model has achieved the best performance on most datasets. Second, as for the methods of searching diverse responses (e.g., BoN), we find the reward models' capability and the search space both limit the upper boundary of these methods. Third, as for the methods that break the problem into many sub-problems, the Agent Workflow has achieved better performance than Step-wise BoN due to the domain-specific system prompt for planning better reasoning processes. Fourth, it is worth mentioning that we have summarized six reasoning patterns of o1, and provided a detailed analysis on several reasoning benchmarks.