La courbe de raisonnement sautillant ? Suivi de l'évolution des performances de raisonnement dans les modèles GPT-[n] et o-[n] sur des casse-têtes multimodaux

The Jumping Reasoning Curve? Tracking the Evolution of Reasoning Performance in GPT-[n] and o-[n] Models on Multimodal Puzzles

February 3, 2025

Auteurs: Vernon Y. H. Toh, Yew Ken Chia, Deepanway Ghosal, Soujanya Poria

cs.AI

Résumé

Les versions o1 et o3 d'OpenAI marquent un changement de paradigme significatif dans les Grands Modèles de Langage en faveur de capacités de raisonnement avancées. Notamment, o3 a surpassé les humains dans la résolution de problèmes nouveaux et l'acquisition de compétences sur le Corpus d'Abstraction et de Raisonnement pour l'Intelligence Artificielle Générale (ARC-AGI). Cependant, cette référence est limitée aux motifs symboliques, tandis que les humains perçoivent et raisonnent souvent sur des scénarios multimodaux impliquant à la fois des données visuelles et linguistiques. Ainsi, il est urgent d'explorer les capacités de raisonnement avancées dans les tâches multimodales. À cette fin, nous suivons l'évolution des modèles de la série GPT-[n] et o-[n] sur des énigmes multimodales exigeant une perception visuelle fine avec un raisonnement abstrait ou algorithmique. La performance supérieure de o1 s'accompagne d'un coût computationnel presque 750 fois supérieur à celui de GPT-4o, soulevant des inquiétudes quant à son efficacité. Nos résultats révèlent une tendance claire à la hausse des capacités de raisonnement à travers les itérations des modèles, avec des sauts de performance notables à travers les modèles de la série GPT et ensuite vers o1. Néanmoins, nous constatons que le modèle o1 rencontre encore des difficultés avec des énigmes multimodales simples nécessitant un raisonnement abstrait. De plus, sa performance dans les énigmes algorithmiques reste faible. Nous prévoyons de suivre continuellement les nouveaux modèles de la série et de mettre à jour nos résultats dans cet article en conséquence. Toutes les ressources utilisées dans cette évaluation sont disponibles publiquement sur https://github.com/declare-lab/LLM-PuzzleTest.

English

The releases of OpenAI's o1 and o3 mark a significant paradigm shift in Large Language Models towards advanced reasoning capabilities. Notably, o3 outperformed humans in novel problem-solving and skill acquisition on the Abstraction and Reasoning Corpus for Artificial General Intelligence (ARC-AGI). However, this benchmark is limited to symbolic patterns, whereas humans often perceive and reason about multimodal scenarios involving both vision and language data. Thus, there is an urgent need to investigate advanced reasoning capabilities in multimodal tasks. To this end, we track the evolution of the GPT-[n] and o-[n] series models on challenging multimodal puzzles, requiring fine-grained visual perception with abstract or algorithmic reasoning. The superior performance of o1 comes at nearly 750 times the computational cost of GPT-4o, raising concerns about its efficiency. Our results reveal a clear upward trend in reasoning capabilities across model iterations, with notable performance jumps across GPT-series models and subsequently to o1. Nonetheless, we observe that the o1 model still struggles with simple multimodal puzzles requiring abstract reasoning. Furthermore, its performance in algorithmic puzzles remains poor. We plan to continuously track new models in the series and update our results in this paper accordingly. All resources used in this evaluation are openly available https://github.com/declare-lab/LLM-PuzzleTest.