Die Beziehung zwischen logischem Denken und Leistung in großen Sprachmodellen -- o3 (mini) denkt intensiver, nicht länger

The Relationship Between Reasoning and Performance in Large Language Models -- o3 (mini) Thinks Harder, Not Longer

February 21, 2025

Autoren: Marthe Ballon, Andres Algaba, Vincent Ginis

cs.AI

Zusammenfassung

Große Sprachmodelle haben bemerkenswerte Fortschritte im mathematischen Denken gezeigt, indem sie Chain-of-Thought und die Skalierung von Rechenressourcen zur Laufzeit nutzen. Dennoch bleiben viele offene Fragen hinsichtlich des Zusammenspiels zwischen der Verwendung von Reasoning-Tokens und Genauigkeitssteigerungen. Insbesondere ist beim Vergleich von Modellen verschiedener Generationen unklar, ob verbesserte Leistungen auf längere Reasoning-Ketten oder effizienteres Denken zurückzuführen sind. Wir analysieren systematisch die Länge von Chain-of-Thought-Ketten bei den Varianten o1-mini und o3-mini auf dem Omni-MATH-Benchmark und stellen fest, dass o3-mini (m) eine überlegene Genauigkeit erreicht, ohne längere Reasoning-Ketten als o1-mini zu benötigen. Darüber hinaus zeigen wir, dass die Genauigkeit generell abnimmt, wenn die Reasoning-Ketten über alle Modelle und Recheneinstellungen hinweg länger werden, selbst wenn die Schwierigkeit der Fragen kontrolliert wird. Dieser Genauigkeitsverlust ist bei leistungsfähigeren Modellen deutlich geringer, was darauf hindeutet, dass neuere Generationen von Reasoning-Modellen Rechenressourcen zur Laufzeit effektiver nutzen. Schließlich heben wir hervor, dass o3-mini (h) zwar einen marginalen Genauigkeitsvorteil gegenüber o3-mini (m) erzielt, dies jedoch durch die Zuweisung erheblich mehr Reasoning-Tokens für alle Probleme erreicht, selbst für die, die o3-mini (m) bereits lösen kann. Diese Erkenntnisse bieten neue Einblicke in die Beziehung zwischen Modellfähigkeit und Reasoning-Länge mit Implikationen für Effizienz, Skalierung und Evaluierungsmethoden.

English

Large language models have demonstrated remarkable progress in mathematical reasoning, leveraging chain-of-thought and test-time compute scaling. However, many open questions remain regarding the interplay between reasoning token usage and accuracy gains. In particular, when comparing models across generations, it is unclear whether improved performance results from longer reasoning chains or more efficient reasoning. We systematically analyze chain-of-thought length across o1-mini and o3-mini variants on the Omni-MATH benchmark, finding that o3-mini (m) achieves superior accuracy without requiring longer reasoning chains than o1-mini. Moreover, we show that accuracy generally declines as reasoning chains grow across all models and compute settings, even when controlling for difficulty of the questions. This accuracy drop is significantly smaller in more proficient models, suggesting that new generations of reasoning models use test-time compute more effectively. Finally, we highlight that while o3-mini (h) achieves a marginal accuracy gain over o3-mini (m), it does so by allocating substantially more reasoning tokens across all problems, even the ones that o3-mini (m) can already solve. These findings provide new insights into the relationship between model capability and reasoning length, with implications for efficiency, scaling, and evaluation methodologies.