De relatie tussen redeneren en prestaties in grote taalmodel- len -- o3 (mini) denkt harder, niet langer

The Relationship Between Reasoning and Performance in Large Language Models -- o3 (mini) Thinks Harder, Not Longer

February 21, 2025

Auteurs: Marthe Ballon, Andres Algaba, Vincent Ginis

cs.AI

Samenvatting

Grote taalmodellen hebben opmerkelijke vooruitgang geboekt in wiskundig redeneren, waarbij gebruik wordt gemaakt van keten-van-gedachten en schaling van rekentijd tijdens testen. Er blijven echter veel open vragen over de wisselwerking tussen het gebruik van redeneertokens en nauwkeurigheidswinst. Met name bij het vergelijken van modellen over verschillende generaties is het onduidelijk of verbeterde prestaties het gevolg zijn van langere redeneerketens of efficiënter redeneren. We analyseren systematisch de lengte van de keten-van-gedachten bij o1-mini en o3-mini varianten op de Omni-MATH-benchmark, en constateren dat o3-mini (m) superieure nauwkeurigheid bereikt zonder langere redeneerketens te vereisen dan o1-mini. Bovendien tonen we aan dat de nauwkeurigheid over het algemeen afneemt naarmate redeneerketens langer worden bij alle modellen en rekensettings, zelfs wanneer rekening wordt gehouden met de moeilijkheidsgraad van de vragen. Deze nauwkeurigheidsdaling is aanzienlijk kleiner bij meer bekwame modellen, wat suggereert dat nieuwe generaties redeneermodellen rekentijd tijdens testen effectiever benutten. Ten slotte benadrukken we dat hoewel o3-mini (h) een marginale nauwkeurigheidswinst behaalt ten opzichte van o3-mini (m), dit gebeurt door aanzienlijk meer redeneertokens toe te wijzen aan alle problemen, zelfs degenen die o3-mini (m) al kan oplossen. Deze bevindingen bieden nieuwe inzichten in de relatie tussen modelcapaciteit en redeneerlengte, met implicaties voor efficiëntie, schaling en evaluatiemethodologieën.

English

Large language models have demonstrated remarkable progress in mathematical reasoning, leveraging chain-of-thought and test-time compute scaling. However, many open questions remain regarding the interplay between reasoning token usage and accuracy gains. In particular, when comparing models across generations, it is unclear whether improved performance results from longer reasoning chains or more efficient reasoning. We systematically analyze chain-of-thought length across o1-mini and o3-mini variants on the Omni-MATH benchmark, finding that o3-mini (m) achieves superior accuracy without requiring longer reasoning chains than o1-mini. Moreover, we show that accuracy generally declines as reasoning chains grow across all models and compute settings, even when controlling for difficulty of the questions. This accuracy drop is significantly smaller in more proficient models, suggesting that new generations of reasoning models use test-time compute more effectively. Finally, we highlight that while o3-mini (h) achieves a marginal accuracy gain over o3-mini (m), it does so by allocating substantially more reasoning tokens across all problems, even the ones that o3-mini (m) can already solve. These findings provide new insights into the relationship between model capability and reasoning length, with implications for efficiency, scaling, and evaluation methodologies.