Взаимосвязь между способностью к рассуждению и производительностью в крупных языковых моделях — o3 (mini) думает глубже, а не дольше

The Relationship Between Reasoning and Performance in Large Language Models -- o3 (mini) Thinks Harder, Not Longer

February 21, 2025

Авторы: Marthe Ballon, Andres Algaba, Vincent Ginis

cs.AI

Аннотация

Крупные языковые модели продемонстрировали значительный прогресс в математических рассуждениях, используя цепочки мыслей и масштабирование вычислений во время тестирования. Однако остается множество открытых вопросов относительно взаимосвязи между использованием токенов для рассуждений и улучшением точности. В частности, при сравнении моделей разных поколений неясно, обусловлено ли улучшение производительности более длинными цепочками рассуждений или более эффективным процессом рассуждений. Мы систематически анализируем длину цепочки мыслей в вариантах o1-mini и o3-mini на бенчмарке Omni-MATH и обнаруживаем, что o3-mini (m) достигает более высокой точности, не требуя более длинных цепочек рассуждений, чем o1-mini. Более того, мы показываем, что точность, как правило, снижается по мере увеличения длины цепочек рассуждений во всех моделях и настройках вычислений, даже при контроле сложности вопросов. Это снижение точности значительно меньше в более продвинутых моделях, что позволяет предположить, что новые поколения моделей для рассуждений используют вычислительные ресурсы во время тестирования более эффективно. Наконец, мы отмечаем, что хотя o3-mini (h) достигает незначительного улучшения точности по сравнению с o3-mini (m), это происходит за счет выделения значительно большего количества токенов для рассуждений на всех задачах, включая те, которые o3-mini (m) уже может решить. Эти результаты дают новые представления о взаимосвязи между возможностями модели и длиной рассуждений, что имеет значение для эффективности, масштабирования и методологий оценки.

English

Large language models have demonstrated remarkable progress in mathematical reasoning, leveraging chain-of-thought and test-time compute scaling. However, many open questions remain regarding the interplay between reasoning token usage and accuracy gains. In particular, when comparing models across generations, it is unclear whether improved performance results from longer reasoning chains or more efficient reasoning. We systematically analyze chain-of-thought length across o1-mini and o3-mini variants on the Omni-MATH benchmark, finding that o3-mini (m) achieves superior accuracy without requiring longer reasoning chains than o1-mini. Moreover, we show that accuracy generally declines as reasoning chains grow across all models and compute settings, even when controlling for difficulty of the questions. This accuracy drop is significantly smaller in more proficient models, suggesting that new generations of reasoning models use test-time compute more effectively. Finally, we highlight that while o3-mini (h) achieves a marginal accuracy gain over o3-mini (m), it does so by allocating substantially more reasoning tokens across all problems, even the ones that o3-mini (m) can already solve. These findings provide new insights into the relationship between model capability and reasoning length, with implications for efficiency, scaling, and evaluation methodologies.