La curva del ragionamento saltante? Tracciare l'evoluzione delle prestazioni di ragionamento nei modelli GPT-[n] e o-[n] su enigmi multimodali

The Jumping Reasoning Curve? Tracking the Evolution of Reasoning Performance in GPT-[n] and o-[n] Models on Multimodal Puzzles

February 3, 2025

Autori: Vernon Y. H. Toh, Yew Ken Chia, Deepanway Ghosal, Soujanya Poria

cs.AI

Abstract

Il rilascio di o1 e o3 di OpenAI segna un significativo cambiamento di paradigma nei Grandi Modelli Linguistici verso capacità avanzate di ragionamento. In particolare, o3 ha superato gli esseri umani nella risoluzione di problemi nuovi e nell'acquisizione di abilità sull'Abstraction and Reasoning Corpus for Artificial General Intelligence (ARC-AGI). Tuttavia, questo benchmark è limitato a pattern simbolici, mentre gli esseri umani spesso percepiscono e ragionano su scenari multimodali che coinvolgono sia dati visivi che linguistici. Pertanto, c'è un urgente bisogno di investigare le capacità avanzate di ragionamento in compiti multimodali. A tal fine, monitoriamo l'evoluzione dei modelli della serie GPT-[n] e o-[n] su enigmi multimodali impegnativi, che richiedono una percezione visiva dettagliata con ragionamento astratto o algoritmico. La performance superiore di o1 comporta un costo computazionale quasi 750 volte superiore rispetto a GPT-4o, sollevando preoccupazioni sulla sua efficienza. I nostri risultati rivelano un chiaro trend positivo nelle capacità di ragionamento attraverso le iterazioni dei modelli, con notevoli miglioramenti delle prestazioni tra i modelli della serie GPT e successivamente o1. Tuttavia, osserviamo che il modello o1 fatica ancora con semplici enigmi multimodali che richiedono ragionamento astratto. Inoltre, le sue prestazioni in enigmi algoritmici rimangono scarse. Abbiamo in programma di monitorare continuamente i nuovi modelli della serie e aggiornare di conseguenza i nostri risultati in questo articolo. Tutte le risorse utilizzate in questa valutazione sono disponibili pubblicamente su https://github.com/declare-lab/LLM-PuzzleTest.

English

The releases of OpenAI's o1 and o3 mark a significant paradigm shift in Large Language Models towards advanced reasoning capabilities. Notably, o3 outperformed humans in novel problem-solving and skill acquisition on the Abstraction and Reasoning Corpus for Artificial General Intelligence (ARC-AGI). However, this benchmark is limited to symbolic patterns, whereas humans often perceive and reason about multimodal scenarios involving both vision and language data. Thus, there is an urgent need to investigate advanced reasoning capabilities in multimodal tasks. To this end, we track the evolution of the GPT-[n] and o-[n] series models on challenging multimodal puzzles, requiring fine-grained visual perception with abstract or algorithmic reasoning. The superior performance of o1 comes at nearly 750 times the computational cost of GPT-4o, raising concerns about its efficiency. Our results reveal a clear upward trend in reasoning capabilities across model iterations, with notable performance jumps across GPT-series models and subsequently to o1. Nonetheless, we observe that the o1 model still struggles with simple multimodal puzzles requiring abstract reasoning. Furthermore, its performance in algorithmic puzzles remains poor. We plan to continuously track new models in the series and update our results in this paper accordingly. All resources used in this evaluation are openly available https://github.com/declare-lab/LLM-PuzzleTest.