Die Sprung-Argumentationskurve? Verfolgung der Evolution der Argumentationsleistung in GPT-[n] und o-[n] Modellen bei multimodalen Rätseln

The Jumping Reasoning Curve? Tracking the Evolution of Reasoning Performance in GPT-[n] and o-[n] Models on Multimodal Puzzles

February 3, 2025

Autoren: Vernon Y. H. Toh, Yew Ken Chia, Deepanway Ghosal, Soujanya Poria

cs.AI

Zusammenfassung

Die Veröffentlichungen von OpenAI's o1 und o3 markieren einen signifikanten Paradigmenwechsel bei Large Language Models hin zu fortgeschrittenen Begründungsfähigkeiten. Insbesondere übertraf o3 Menschen in der Lösung neuartiger Probleme und im Erlernen von Fähigkeiten im Abstraktion und Begründungskorpus für Künstliche Allgemeine Intelligenz (ARC-AGI). Dieser Benchmark ist jedoch auf symbolische Muster beschränkt, während Menschen oft multimodale Szenarien wahrnehmen und über diese sowohl mit visuellen als auch sprachlichen Daten begründen. Daher besteht ein dringender Bedarf, fortgeschrittene Begründungsfähigkeiten in multimodalen Aufgaben zu untersuchen. Zu diesem Zweck verfolgen wir die Entwicklung der GPT-[n] und o-[n] Serienmodelle bei anspruchsvollen multimodalen Rätseln, die eine fein abgestufte visuelle Wahrnehmung mit abstrakter oder algorithmischer Begründung erfordern. Die überlegene Leistung von o1 geht mit fast 750-mal höheren Rechenaufwand als bei GPT-4o einher, was Bedenken hinsichtlich seiner Effizienz aufwirft. Unsere Ergebnisse zeigen einen klaren Aufwärtstrend bei den Begründungsfähigkeiten über die Modelliterationen hinweg, mit bemerkenswerten Leistungssprüngen bei den GPT-Serienmodellen und anschließend bei o1. Dennoch beobachten wir, dass das o1-Modell nach wie vor Schwierigkeiten mit einfachen multimodalen Rätseln hat, die abstrakte Begründung erfordern. Darüber hinaus ist seine Leistung bei algorithmischen Rätseln schlecht. Wir planen, kontinuierlich neue Modelle der Serie zu verfolgen und unsere Ergebnisse entsprechend in diesem Papier zu aktualisieren. Alle Ressourcen, die bei dieser Evaluation verwendet wurden, sind öffentlich verfügbar unter https://github.com/declare-lab/LLM-PuzzleTest.

English

The releases of OpenAI's o1 and o3 mark a significant paradigm shift in Large Language Models towards advanced reasoning capabilities. Notably, o3 outperformed humans in novel problem-solving and skill acquisition on the Abstraction and Reasoning Corpus for Artificial General Intelligence (ARC-AGI). However, this benchmark is limited to symbolic patterns, whereas humans often perceive and reason about multimodal scenarios involving both vision and language data. Thus, there is an urgent need to investigate advanced reasoning capabilities in multimodal tasks. To this end, we track the evolution of the GPT-[n] and o-[n] series models on challenging multimodal puzzles, requiring fine-grained visual perception with abstract or algorithmic reasoning. The superior performance of o1 comes at nearly 750 times the computational cost of GPT-4o, raising concerns about its efficiency. Our results reveal a clear upward trend in reasoning capabilities across model iterations, with notable performance jumps across GPT-series models and subsequently to o1. Nonetheless, we observe that the o1 model still struggles with simple multimodal puzzles requiring abstract reasoning. Furthermore, its performance in algorithmic puzzles remains poor. We plan to continuously track new models in the series and update our results in this paper accordingly. All resources used in this evaluation are openly available https://github.com/declare-lab/LLM-PuzzleTest.