A Relação entre Raciocínio e Desempenho em Modelos de Linguagem de Grande Escala -- o3 (mini) Pensa com Mais Profundidade, Não por Mais Tempo

The Relationship Between Reasoning and Performance in Large Language Models -- o3 (mini) Thinks Harder, Not Longer

February 21, 2025

Autores: Marthe Ballon, Andres Algaba, Vincent Ginis

cs.AI

Resumo

Modelos de linguagem de grande escala demonstraram progressos notáveis no raciocínio matemático, aproveitando cadeias de pensamento e escalonamento de computação em tempo de teste. No entanto, muitas questões permanecem em aberto sobre a interação entre o uso de tokens de raciocínio e os ganhos de precisão. Em particular, ao comparar modelos de diferentes gerações, não está claro se o desempenho aprimorado resulta de cadeias de raciocínio mais longas ou de um raciocínio mais eficiente. Analisamos sistematicamente o comprimento das cadeias de pensamento nas variantes o1-mini e o3-mini no benchmark Omni-MATH, descobrindo que o o3-mini (m) alcança precisão superior sem exigir cadeias de raciocínio mais longas do que o o1-mini. Além disso, mostramos que a precisão geralmente diminui à medida que as cadeias de raciocínio aumentam em todos os modelos e configurações de computação, mesmo quando controlamos pela dificuldade das questões. Essa queda de precisão é significativamente menor em modelos mais proficientes, sugerindo que as novas gerações de modelos de raciocínio utilizam a computação em tempo de teste de forma mais eficaz. Por fim, destacamos que, embora o o3-mini (h) alcance um ganho marginal de precisão em relação ao o3-mini (m), ele o faz alocando substancialmente mais tokens de raciocínio em todos os problemas, mesmo naqueles que o o3-mini (m) já consegue resolver. Essas descobertas fornecem novos insights sobre a relação entre a capacidade do modelo e o comprimento do raciocínio, com implicações para eficiência, escalonamento e metodologias de avaliação.

English

Large language models have demonstrated remarkable progress in mathematical reasoning, leveraging chain-of-thought and test-time compute scaling. However, many open questions remain regarding the interplay between reasoning token usage and accuracy gains. In particular, when comparing models across generations, it is unclear whether improved performance results from longer reasoning chains or more efficient reasoning. We systematically analyze chain-of-thought length across o1-mini and o3-mini variants on the Omni-MATH benchmark, finding that o3-mini (m) achieves superior accuracy without requiring longer reasoning chains than o1-mini. Moreover, we show that accuracy generally declines as reasoning chains grow across all models and compute settings, even when controlling for difficulty of the questions. This accuracy drop is significantly smaller in more proficient models, suggesting that new generations of reasoning models use test-time compute more effectively. Finally, we highlight that while o3-mini (h) achieves a marginal accuracy gain over o3-mini (m), it does so by allocating substantially more reasoning tokens across all problems, even the ones that o3-mini (m) can already solve. These findings provide new insights into the relationship between model capability and reasoning length, with implications for efficiency, scaling, and evaluation methodologies.