Um Estudo Comparativo sobre Padrões de Raciocínio do Modelo o1 da OpenAI

A Comparative Study on Reasoning Patterns of OpenAI's o1 Model

October 17, 2024

Autores: Siwei Wu, Zhongyuan Peng, Xinrun Du, Tuney Zheng, Minghao Liu, Jialong Wu, Jiachen Ma, Yizhi Li, Jian Yang, Wangchunshu Zhou, Qunshu Lin, Junbo Zhao, Zhaoxiang Zhang, Wenhao Huang, Ge Zhang, Chenghua Lin, J. H. Liu

cs.AI

Resumo

Capacitar os Modelos de Linguagem de Grande Escala (LLMs) para lidar com uma gama mais ampla de tarefas complexas (por exemplo, codificação, matemática) tem atraído grande atenção de muitos pesquisadores. À medida que os LLMs continuam a evoluir, simplesmente aumentar o número de parâmetros do modelo resulta em melhorias de desempenho decrescentes e custos computacionais elevados. Recentemente, o modelo o1 da OpenAI mostrou que estratégias de inferência (ou seja, métodos de Cálculo em Tempo de Teste) também podem aprimorar significativamente as capacidades de raciocínio dos LLMs. No entanto, os mecanismos por trás desses métodos ainda não foram explorados. Em nosso trabalho, para investigar os padrões de raciocínio do o1, comparamos o1 com os métodos existentes de Cálculo em Tempo de Teste (BoN, BoN Passo a Passo, Fluxo de Agente e Auto-Aprimoramento) usando o GPT-4o da OpenAI como base em benchmarks de raciocínio geral em três domínios (ou seja, matemática, codificação, raciocínio do senso comum). Especificamente, em primeiro lugar, nossos experimentos mostram que o modelo o1 alcançou o melhor desempenho na maioria dos conjuntos de dados. Em segundo lugar, quanto aos métodos de busca de respostas diversas (por exemplo, BoN), descobrimos que a capacidade dos modelos de recompensa e o espaço de busca limitam o limite superior desses métodos. Em terceiro lugar, quanto aos métodos que dividem o problema em muitos subproblemas, o Fluxo de Agente obteve melhor desempenho do que o BoN Passo a Passo devido ao prompt do sistema específico do domínio para planejar processos de raciocínio melhores. Em quarto lugar, vale ressaltar que resumimos seis padrões de raciocínio do o1 e fornecemos uma análise detalhada em vários benchmarks de raciocínio.

English

Enabling Large Language Models (LLMs) to handle a wider range of complex tasks (e.g., coding, math) has drawn great attention from many researchers. As LLMs continue to evolve, merely increasing the number of model parameters yields diminishing performance improvements and heavy computational costs. Recently, OpenAI's o1 model has shown that inference strategies (i.e., Test-time Compute methods) can also significantly enhance the reasoning capabilities of LLMs. However, the mechanisms behind these methods are still unexplored. In our work, to investigate the reasoning patterns of o1, we compare o1 with existing Test-time Compute methods (BoN, Step-wise BoN, Agent Workflow, and Self-Refine) by using OpenAI's GPT-4o as a backbone on general reasoning benchmarks in three domains (i.e., math, coding, commonsense reasoning). Specifically, first, our experiments show that the o1 model has achieved the best performance on most datasets. Second, as for the methods of searching diverse responses (e.g., BoN), we find the reward models' capability and the search space both limit the upper boundary of these methods. Third, as for the methods that break the problem into many sub-problems, the Agent Workflow has achieved better performance than Step-wise BoN due to the domain-specific system prompt for planning better reasoning processes. Fourth, it is worth mentioning that we have summarized six reasoning patterns of o1, and provided a detailed analysis on several reasoning benchmarks.