De Springende Redeneercurve? Het Bijhouden van de Evolutie van Redeneerprestaties in GPT-[n] en o-[n] Modellen op Multimodale Puzzels

The Jumping Reasoning Curve? Tracking the Evolution of Reasoning Performance in GPT-[n] and o-[n] Models on Multimodal Puzzles

February 3, 2025

Auteurs: Vernon Y. H. Toh, Yew Ken Chia, Deepanway Ghosal, Soujanya Poria

cs.AI

Samenvatting

De releases van OpenAI's o1 en o3 markeren een significante paradigma verschuiving in Grote Taalmodellen naar geavanceerde redeneermogelijkheden. Met name overtrof o3 mensen in het oplossen van nieuwe problemen en het verwerven van vaardigheden op het Abstraction and Reasoning Corpus for Artificial General Intelligence (ARC-AGI). Echter, deze benchmark is beperkt tot symbolische patronen, terwijl mensen vaak multimodale scenario's waarnemen en redeneren die zowel visuele als taalgegevens omvatten. Daarom is er een dringende behoefte om geavanceerde redeneermogelijkheden in multimodale taken te onderzoeken. Met dit doel volgen we de evolutie van de GPT-[n] en o-[n] serie modellen op uitdagende multimodale puzzels, die fijnmazige visuele waarneming vereisen in combinatie met abstract of algorithmisch redeneren. De superieure prestaties van o1 gaan gepaard met bijna 750 keer de rekenkundige kosten van GPT-4o, wat zorgen baart over de efficiëntie ervan. Onze resultaten tonen een duidelijke opwaartse trend in redeneermogelijkheden over modeliteraties, met opmerkelijke prestatiesprongen tussen GPT-serie modellen en vervolgens naar o1. Desalniettemin merken we op dat het o1 model nog steeds moeite heeft met eenvoudige multimodale puzzels die abstract redeneren vereisen. Bovendien blijft de prestatie in algorithmische puzzels zwak. We zijn van plan om voortdurend nieuwe modellen in de serie te volgen en onze resultaten dienovereenkomstig bij te werken in dit artikel. Alle bronnen die zijn gebruikt in deze evaluatie zijn openlijk beschikbaar op https://github.com/declare-lab/LLM-PuzzleTest.

English

The releases of OpenAI's o1 and o3 mark a significant paradigm shift in Large Language Models towards advanced reasoning capabilities. Notably, o3 outperformed humans in novel problem-solving and skill acquisition on the Abstraction and Reasoning Corpus for Artificial General Intelligence (ARC-AGI). However, this benchmark is limited to symbolic patterns, whereas humans often perceive and reason about multimodal scenarios involving both vision and language data. Thus, there is an urgent need to investigate advanced reasoning capabilities in multimodal tasks. To this end, we track the evolution of the GPT-[n] and o-[n] series models on challenging multimodal puzzles, requiring fine-grained visual perception with abstract or algorithmic reasoning. The superior performance of o1 comes at nearly 750 times the computational cost of GPT-4o, raising concerns about its efficiency. Our results reveal a clear upward trend in reasoning capabilities across model iterations, with notable performance jumps across GPT-series models and subsequently to o1. Nonetheless, we observe that the o1 model still struggles with simple multimodal puzzles requiring abstract reasoning. Furthermore, its performance in algorithmic puzzles remains poor. We plan to continuously track new models in the series and update our results in this paper accordingly. All resources used in this evaluation are openly available https://github.com/declare-lab/LLM-PuzzleTest.