Eine vergleichende Studie über die Schlussfolgerungsmuster des OpenAI-Modells o1.

A Comparative Study on Reasoning Patterns of OpenAI's o1 Model

October 17, 2024

Autoren: Siwei Wu, Zhongyuan Peng, Xinrun Du, Tuney Zheng, Minghao Liu, Jialong Wu, Jiachen Ma, Yizhi Li, Jian Yang, Wangchunshu Zhou, Qunshu Lin, Junbo Zhao, Zhaoxiang Zhang, Wenhao Huang, Ge Zhang, Chenghua Lin, J. H. Liu

cs.AI

Zusammenfassung

Die Ermöglichung von Large Language Models (LLMs), eine breitere Palette komplexer Aufgaben zu bewältigen (z. B. Codierung, Mathematik), hat das Interesse vieler Forscher geweckt. Da LLMs weiterhin entwickelt werden, führt allein die Erhöhung der Anzahl der Modellparameter zu abnehmenden Leistungsverbesserungen und hohen Rechenkosten. Kürzlich hat OpenAI's o1-Modell gezeigt, dass Inferenzstrategien (d. h. Testzeit-Berechnungsmethoden) auch die Schlussfolgerungsfähigkeiten von LLMs signifikant verbessern können. Die Mechanismen hinter diesen Methoden sind jedoch noch unerforscht. In unserer Arbeit vergleichen wir o1 mit bestehenden Testzeit-Berechnungsmethoden (BoN, Schrittweise BoN, Agent Workflow und Self-Refine), indem wir OpenAI's GPT-4o als Grundlage für allgemeine Schlussfolgerungstests in drei Bereichen (d. h. Mathematik, Codierung, gesunder Menschenverstand) verwenden, um die Schlussfolgerungsmuster von o1 zu untersuchen. Unsere Experimente zeigen, dass das o1-Modell die beste Leistung auf den meisten Datensätzen erzielt hat. In Bezug auf Methoden zur Suche nach vielfältigen Antworten (z. B. BoN) stellen wir fest, dass die Fähigkeit der Belohnungsmodelle und der Suchraum beide die Obergrenze dieser Methoden begrenzen. In Bezug auf Methoden, die das Problem in viele Teilprobleme aufteilen, hat der Agent Workflow aufgrund des domänenspezifischen Systemprompt für eine bessere Planung von Schlussfolgerungsprozessen eine bessere Leistung als Schrittweise BoN erzielt. Es sei erwähnt, dass wir sechs Schlussfolgerungsmuster von o1 zusammengefasst und eine detaillierte Analyse mehrerer Schlussfolgerungstests bereitgestellt haben.

English

Enabling Large Language Models (LLMs) to handle a wider range of complex tasks (e.g., coding, math) has drawn great attention from many researchers. As LLMs continue to evolve, merely increasing the number of model parameters yields diminishing performance improvements and heavy computational costs. Recently, OpenAI's o1 model has shown that inference strategies (i.e., Test-time Compute methods) can also significantly enhance the reasoning capabilities of LLMs. However, the mechanisms behind these methods are still unexplored. In our work, to investigate the reasoning patterns of o1, we compare o1 with existing Test-time Compute methods (BoN, Step-wise BoN, Agent Workflow, and Self-Refine) by using OpenAI's GPT-4o as a backbone on general reasoning benchmarks in three domains (i.e., math, coding, commonsense reasoning). Specifically, first, our experiments show that the o1 model has achieved the best performance on most datasets. Second, as for the methods of searching diverse responses (e.g., BoN), we find the reward models' capability and the search space both limit the upper boundary of these methods. Third, as for the methods that break the problem into many sub-problems, the Agent Workflow has achieved better performance than Step-wise BoN due to the domain-specific system prompt for planning better reasoning processes. Fourth, it is worth mentioning that we have summarized six reasoning patterns of o1, and provided a detailed analysis on several reasoning benchmarks.