Uno Studio Comparativo sui Pattern di Ragionamento del Modello o1 di OpenAI

A Comparative Study on Reasoning Patterns of OpenAI's o1 Model

October 17, 2024

Autori: Siwei Wu, Zhongyuan Peng, Xinrun Du, Tuney Zheng, Minghao Liu, Jialong Wu, Jiachen Ma, Yizhi Li, Jian Yang, Wangchunshu Zhou, Qunshu Lin, Junbo Zhao, Zhaoxiang Zhang, Wenhao Huang, Ge Zhang, Chenghua Lin, J. H. Liu

cs.AI

Abstract

Abilitare i Large Language Models (LLM) a gestire una gamma più ampia di compiti complessi (ad esempio, codifica, matematica) ha attirato grande attenzione da parte di molti ricercatori. Mentre i LLM continuano a evolversi, aumentare semplicemente il numero di parametri del modello porta a miglioramenti delle prestazioni in diminuzione e a pesanti costi computazionali. Recentemente, il modello o1 di OpenAI ha dimostrato che le strategie di inferenza (cioè, i metodi di calcolo al momento del test) possono anche migliorare significativamente le capacità di ragionamento dei LLM. Tuttavia, i meccanismi dietro questi metodi sono ancora inesplorati. Nel nostro lavoro, per indagare sui modelli di ragionamento di o1, confrontiamo o1 con i metodi esistenti di calcolo al momento del test (BoN, BoN passo-passo, Workflow dell'Agente e Auto-raffinamento) utilizzando il GPT-4o di OpenAI come base su benchmark di ragionamento generale in tre domini (matematica, codifica, ragionamento di buon senso). In particolare, i nostri esperimenti mostrano che il modello o1 ha ottenuto le migliori prestazioni sulla maggior parte dei dataset. Per quanto riguarda i metodi di ricerca di risposte diverse (ad esempio, BoN), abbiamo scoperto che le capacità dei modelli di ricompensa e lo spazio di ricerca limitano entrambi il limite superiore di questi metodi. Per quanto riguarda i metodi che suddividono il problema in molti sotto-problemi, il Workflow dell'Agente ha ottenuto prestazioni migliori rispetto a BoN passo-passo grazie alla richiesta di sistema specifica del dominio per pianificare processi di ragionamento migliori. È importante sottolineare che abbiamo riassunto sei modelli di ragionamento di o1 e fornito un'analisi dettagliata su diversi benchmark di ragionamento.

English

Enabling Large Language Models (LLMs) to handle a wider range of complex tasks (e.g., coding, math) has drawn great attention from many researchers. As LLMs continue to evolve, merely increasing the number of model parameters yields diminishing performance improvements and heavy computational costs. Recently, OpenAI's o1 model has shown that inference strategies (i.e., Test-time Compute methods) can also significantly enhance the reasoning capabilities of LLMs. However, the mechanisms behind these methods are still unexplored. In our work, to investigate the reasoning patterns of o1, we compare o1 with existing Test-time Compute methods (BoN, Step-wise BoN, Agent Workflow, and Self-Refine) by using OpenAI's GPT-4o as a backbone on general reasoning benchmarks in three domains (i.e., math, coding, commonsense reasoning). Specifically, first, our experiments show that the o1 model has achieved the best performance on most datasets. Second, as for the methods of searching diverse responses (e.g., BoN), we find the reward models' capability and the search space both limit the upper boundary of these methods. Third, as for the methods that break the problem into many sub-problems, the Agent Workflow has achieved better performance than Step-wise BoN due to the domain-specific system prompt for planning better reasoning processes. Fourth, it is worth mentioning that we have summarized six reasoning patterns of o1, and provided a detailed analysis on several reasoning benchmarks.