La relación entre el razonamiento y el rendimiento en los modelos de lenguaje a gran escala -- o3 (mini) piensa más intensamente, no durante más tiempo.

The Relationship Between Reasoning and Performance in Large Language Models -- o3 (mini) Thinks Harder, Not Longer

February 21, 2025

Autores: Marthe Ballon, Andres Algaba, Vincent Ginis

cs.AI

Resumen

Los modelos de lenguaje a gran escala han demostrado un progreso notable en el razonamiento matemático, aprovechando el razonamiento en cadena (chain-of-thought) y la escalabilidad del cómputo en tiempo de prueba. Sin embargo, persisten muchas preguntas abiertas sobre la interacción entre el uso de tokens de razonamiento y las mejoras en precisión. En particular, al comparar modelos de diferentes generaciones, no está claro si el mejor rendimiento se debe a cadenas de razonamiento más largas o a un razonamiento más eficiente. Analizamos sistemáticamente la longitud de las cadenas de razonamiento en las variantes o1-mini y o3-mini utilizando el benchmark Omni-MATH, encontrando que o3-mini (m) logra una precisión superior sin requerir cadenas de razonamiento más largas que o1-mini. Además, mostramos que la precisión generalmente disminuye a medida que las cadenas de razonamiento se alargan en todos los modelos y configuraciones de cómputo, incluso al controlar la dificultad de las preguntas. Esta caída en la precisión es significativamente menor en modelos más competentes, lo que sugiere que las nuevas generaciones de modelos de razonamiento utilizan el cómputo en tiempo de prueba de manera más efectiva. Finalmente, destacamos que, aunque o3-mini (h) logra una mejora marginal en precisión sobre o3-mini (m), lo hace asignando sustancialmente más tokens de razonamiento en todos los problemas, incluso en aquellos que o3-mini (m) ya puede resolver. Estos hallazgos proporcionan nuevas perspectivas sobre la relación entre la capacidad del modelo y la longitud del razonamiento, con implicaciones para la eficiencia, la escalabilidad y las metodologías de evaluación.

English

Large language models have demonstrated remarkable progress in mathematical reasoning, leveraging chain-of-thought and test-time compute scaling. However, many open questions remain regarding the interplay between reasoning token usage and accuracy gains. In particular, when comparing models across generations, it is unclear whether improved performance results from longer reasoning chains or more efficient reasoning. We systematically analyze chain-of-thought length across o1-mini and o3-mini variants on the Omni-MATH benchmark, finding that o3-mini (m) achieves superior accuracy without requiring longer reasoning chains than o1-mini. Moreover, we show that accuracy generally declines as reasoning chains grow across all models and compute settings, even when controlling for difficulty of the questions. This accuracy drop is significantly smaller in more proficient models, suggesting that new generations of reasoning models use test-time compute more effectively. Finally, we highlight that while o3-mini (h) achieves a marginal accuracy gain over o3-mini (m), it does so by allocating substantially more reasoning tokens across all problems, even the ones that o3-mini (m) can already solve. These findings provide new insights into the relationship between model capability and reasoning length, with implications for efficiency, scaling, and evaluation methodologies.