La Relazione tra Ragionamento e Prestazioni nei Modelli Linguistici di Grandi Dimensioni -- o3 (mini) Pensa Più a Fondo, Non Più a Lungo

The Relationship Between Reasoning and Performance in Large Language Models -- o3 (mini) Thinks Harder, Not Longer

February 21, 2025

Autori: Marthe Ballon, Andres Algaba, Vincent Ginis

cs.AI

Abstract

I grandi modelli linguistici hanno dimostrato progressi significativi nel ragionamento matematico, sfruttando il chain-of-thought e il ridimensionamento del calcolo al momento del test. Tuttavia, rimangono molte domande aperte riguardo all'interazione tra l'uso di token di ragionamento e i guadagni in termini di accuratezza. In particolare, quando si confrontano modelli di diverse generazioni, non è chiaro se il miglioramento delle prestazioni derivi da catene di ragionamento più lunghe o da un ragionamento più efficiente. Analizziamo sistematicamente la lunghezza del chain-of-thought nelle varianti o1-mini e o3-mini sul benchmark Omni-MATH, scoprendo che o3-mini (m) raggiunge un'accuratezza superiore senza richiedere catene di ragionamento più lunghe rispetto a o1-mini. Inoltre, mostriamo che l'accuratezza generalmente diminuisce all'aumentare della lunghezza delle catene di ragionamento in tutti i modelli e le configurazioni di calcolo, anche quando si controlla la difficoltà delle domande. Questo calo di accuratezza è significativamente minore nei modelli più competenti, suggerendo che le nuove generazioni di modelli di ragionamento utilizzano il calcolo al momento del test in modo più efficace. Infine, evidenziamo che, sebbene o3-mini (h) ottenga un guadagno marginale in accuratezza rispetto a o3-mini (m), lo fa allocando un numero sostanzialmente maggiore di token di ragionamento per tutti i problemi, anche quelli che o3-mini (m) è già in grado di risolvere. Questi risultati forniscono nuove intuizioni sulla relazione tra capacità del modello e lunghezza del ragionamento, con implicazioni per l'efficienza, il ridimensionamento e le metodologie di valutazione.

English

Large language models have demonstrated remarkable progress in mathematical reasoning, leveraging chain-of-thought and test-time compute scaling. However, many open questions remain regarding the interplay between reasoning token usage and accuracy gains. In particular, when comparing models across generations, it is unclear whether improved performance results from longer reasoning chains or more efficient reasoning. We systematically analyze chain-of-thought length across o1-mini and o3-mini variants on the Omni-MATH benchmark, finding that o3-mini (m) achieves superior accuracy without requiring longer reasoning chains than o1-mini. Moreover, we show that accuracy generally declines as reasoning chains grow across all models and compute settings, even when controlling for difficulty of the questions. This accuracy drop is significantly smaller in more proficient models, suggesting that new generations of reasoning models use test-time compute more effectively. Finally, we highlight that while o3-mini (h) achieves a marginal accuracy gain over o3-mini (m), it does so by allocating substantially more reasoning tokens across all problems, even the ones that o3-mini (m) can already solve. These findings provide new insights into the relationship between model capability and reasoning length, with implications for efficiency, scaling, and evaluation methodologies.