¿La Curva de Razonamiento Saltarina? Siguiendo la Evolución del Rendimiento de Razonamiento en los Modelos GPT-[n] y o-[n] en Rompecabezas Multimodales

The Jumping Reasoning Curve? Tracking the Evolution of Reasoning Performance in GPT-[n] and o-[n] Models on Multimodal Puzzles

February 3, 2025

Autores: Vernon Y. H. Toh, Yew Ken Chia, Deepanway Ghosal, Soujanya Poria

cs.AI

Resumen

Los lanzamientos de o1 y o3 de OpenAI marcan un cambio de paradigma significativo en los Modelos de Lenguaje Grande hacia capacidades avanzadas de razonamiento. Es destacable que o3 superó a los humanos en la resolución de problemas novedosos y la adquisición de habilidades en el Corpus de Abstracción y Razonamiento para la Inteligencia Artificial General (ARC-AGI). Sin embargo, este punto de referencia se limita a patrones simbólicos, mientras que los humanos a menudo perciben y razonan sobre escenarios multimodales que involucran tanto datos visuales como de lenguaje. Por lo tanto, existe una necesidad urgente de investigar capacidades avanzadas de razonamiento en tareas multimodales. Con este fin, seguimos la evolución de los modelos de la serie GPT-[n] y o-[n] en desafiantes rompecabezas multimodales, que requieren una percepción visual detallada con razonamiento abstracto o algorítmico. El rendimiento superior de o1 se logra a casi 750 veces el costo computacional de GPT-4o, lo que plantea preocupaciones sobre su eficiencia. Nuestros resultados revelan una clara tendencia al alza en las capacidades de razonamiento a lo largo de las iteraciones del modelo, con saltos de rendimiento notables entre los modelos de la serie GPT y posteriormente hacia o1. No obstante, observamos que el modelo o1 aún tiene dificultades con simples rompecabezas multimodales que requieren razonamiento abstracto. Además, su rendimiento en rompecabezas algorítmicos sigue siendo pobre. Planeamos seguir de cerca los nuevos modelos de la serie y actualizar nuestros resultados en este documento en consecuencia. Todos los recursos utilizados en esta evaluación están disponibles públicamente en https://github.com/declare-lab/LLM-PuzzleTest.

English

The releases of OpenAI's o1 and o3 mark a significant paradigm shift in Large Language Models towards advanced reasoning capabilities. Notably, o3 outperformed humans in novel problem-solving and skill acquisition on the Abstraction and Reasoning Corpus for Artificial General Intelligence (ARC-AGI). However, this benchmark is limited to symbolic patterns, whereas humans often perceive and reason about multimodal scenarios involving both vision and language data. Thus, there is an urgent need to investigate advanced reasoning capabilities in multimodal tasks. To this end, we track the evolution of the GPT-[n] and o-[n] series models on challenging multimodal puzzles, requiring fine-grained visual perception with abstract or algorithmic reasoning. The superior performance of o1 comes at nearly 750 times the computational cost of GPT-4o, raising concerns about its efficiency. Our results reveal a clear upward trend in reasoning capabilities across model iterations, with notable performance jumps across GPT-series models and subsequently to o1. Nonetheless, we observe that the o1 model still struggles with simple multimodal puzzles requiring abstract reasoning. Furthermore, its performance in algorithmic puzzles remains poor. We plan to continuously track new models in the series and update our results in this paper accordingly. All resources used in this evaluation are openly available https://github.com/declare-lab/LLM-PuzzleTest.