A Curva de Raciocínio Saltitante? Rastreando a Evolução do Desempenho de Raciocínio em Modelos GPT-[n] e o-[n] em Quebra-Cabeças Multimodais

The Jumping Reasoning Curve? Tracking the Evolution of Reasoning Performance in GPT-[n] and o-[n] Models on Multimodal Puzzles

February 3, 2025

Autores: Vernon Y. H. Toh, Yew Ken Chia, Deepanway Ghosal, Soujanya Poria

cs.AI

Resumo

Os lançamentos do o1 e o3 da OpenAI marcam uma mudança significativa de paradigma em Modelos de Linguagem de Grande Escala em direção a capacidades avançadas de raciocínio. Notavelmente, o o3 superou humanos em resolução de problemas inovadores e aquisição de habilidades no Corpus de Abstração e Raciocínio para Inteligência Artificial Geral (ARC-AGI). No entanto, este benchmark é limitado a padrões simbólicos, enquanto os humanos frequentemente percebem e raciocinam sobre cenários multimodais envolvendo tanto dados visuais quanto linguísticos. Assim, há uma necessidade urgente de investigar capacidades avançadas de raciocínio em tarefas multimodais. Para isso, acompanhamos a evolução dos modelos da série GPT-[n] e o-[n] em quebra-cabeças multimodais desafiadores, exigindo percepção visual detalhada com raciocínio abstrato ou algorítmico. O desempenho superior do o1 vem com um custo computacional quase 750 vezes maior que o do GPT-4o, levantando preocupações sobre sua eficiência. Nossos resultados revelam uma clara tendência ascendente nas capacidades de raciocínio ao longo das iterações dos modelos, com saltos de desempenho notáveis nos modelos da série GPT e subsequentemente no o1. No entanto, observamos que o modelo o1 ainda enfrenta dificuldades com quebra-cabeças multimodais simples que exigem raciocínio abstrato. Além disso, seu desempenho em quebra-cabeças algorítmicos permanece baixo. Planejamos acompanhar continuamente novos modelos na série e atualizar nossos resultados neste artigo conforme necessário. Todos os recursos utilizados nesta avaliação estão disponíveis abertamente em https://github.com/declare-lab/LLM-PuzzleTest.

English

The releases of OpenAI's o1 and o3 mark a significant paradigm shift in Large Language Models towards advanced reasoning capabilities. Notably, o3 outperformed humans in novel problem-solving and skill acquisition on the Abstraction and Reasoning Corpus for Artificial General Intelligence (ARC-AGI). However, this benchmark is limited to symbolic patterns, whereas humans often perceive and reason about multimodal scenarios involving both vision and language data. Thus, there is an urgent need to investigate advanced reasoning capabilities in multimodal tasks. To this end, we track the evolution of the GPT-[n] and o-[n] series models on challenging multimodal puzzles, requiring fine-grained visual perception with abstract or algorithmic reasoning. The superior performance of o1 comes at nearly 750 times the computational cost of GPT-4o, raising concerns about its efficiency. Our results reveal a clear upward trend in reasoning capabilities across model iterations, with notable performance jumps across GPT-series models and subsequently to o1. Nonetheless, we observe that the o1 model still struggles with simple multimodal puzzles requiring abstract reasoning. Furthermore, its performance in algorithmic puzzles remains poor. We plan to continuously track new models in the series and update our results in this paper accordingly. All resources used in this evaluation are openly available https://github.com/declare-lab/LLM-PuzzleTest.