Рассуждения о математических объектах: онлайн-моделирование вознаграждения и агрегация на этапе тестирования
Reasoning over mathematical objects: on-policy reward modeling and test time aggregation
March 19, 2026
Авторы: Pranjal Aggarwal, Marjan Ghazvininejad, Seungone Kim, Ilia Kulikov, Jack Lanchantin, Xian Li, Tianjian Li, Bo Liu, Graham Neubig, Anaelia Ovalle, Swarnadeep Saha, Sainbayar Sukhbaatar, Sean Welleck, Jason Weston, Chenxi Whitehouse, Adina Williams, Jing Xu, Ping Yu, Weizhe Yuan, Jingyu Zhang, Wenting Zhao
cs.AI
Аннотация
Способность точно выводить математические объекты является ключевым требованием для последующих STEM-приложений, включая математику, физику и химию, где рассуждения должны завершаться формально структурированными выражениями. Однако современные оценки математических и научных рассуждений в языковых моделях в значительной степени опираются на упрощенные форматы ответов, такие как числовые значения или варианты множественного выбора, в силу удобства автоматизированной оценки. В данной статье мы представляем три вклада в совершенствование рассуждений над математическими объектами: (i) мы создаем и публикуем обучающие данные и бенчмарки для вывода математических объектов — набор Principia; (ii) мы предлагаем методики обучения с использованием строгих LLM-оценщиков и верификаторов, демонстрируя, что обучение оценщика на политике модели повышает производительность; (iii) мы показываем, как обучение на политике модели также может быть использовано для масштабирования вычислений во время тестирования посредством агрегации. Мы обнаруживаем, что мощные языковые модели, такие как Qwen3-235B и o3, демонстрируют низкие результаты на Principia, в то время как наши методики обучения позволяют добиться значительного улучшения на различных архитектурах больших языковых моделей, одновременно повышая результаты на существующих задачах с числовыми ответами и множественным выбором, что демонстрирует кросс-форматную обобщающую способность рассуждений.
English
The ability to precisely derive mathematical objects is a core requirement for downstream STEM applications, including mathematics, physics, and chemistry, where reasoning must culminate in formally structured expressions. Yet, current LM evaluations of mathematical and scientific reasoning rely heavily on simplified answer formats such as numerical values or multiple choice options due to the convenience of automated assessment. In this paper we provide three contributions for improving reasoning over mathematical objects: (i) we build and release training data and benchmarks for deriving mathematical objects, the Principia suite; (ii) we provide training recipes with strong LLM-judges and verifiers, where we show that on-policy judge training boosts performance; (iii) we show how on-policy training can also be used to scale test-time compute via aggregation. We find that strong LMs such as Qwen3-235B and o3 struggle on Principia, while our training recipes can bring significant improvements over different LLM backbones, while simultaneously improving results on existing numerical and MCQA tasks, demonstrating cross-format generalization of reasoning abilities.