NEMOTRON-CROSSTHINK: Масштабирование самообучения за пределы математических рассуждений

NEMOTRON-CROSSTHINK: Scaling Self-Learning beyond Math Reasoning

April 15, 2025

Авторы: Syeda Nahida Akter, Shrimai Prabhumoye, Matvei Novikov, Seungju Han, Ying Lin, Evelina Bakhturi, Eric Nyberg, Yejin Choi, Mostofa Patwary, Mohammad Shoeybi, Bryan Catanzaro

cs.AI

Аннотация

Крупные языковые модели (LLM) продемонстрировали мощные способности к рассуждению, особенно при улучшении с помощью обучения с подкреплением (RL). Хотя предыдущие работы успешно применяли RL к математическим рассуждениям — где правила и корректность четко определены — обобщение этих методов на более широкие области рассуждений остается сложной задачей из-за ограниченных данных, отсутствия проверяемых структур вознаграждения и разнообразия требований задач. В данной работе мы предлагаем NEMOTRON-CROSSTHINK — фреймворк, который систематически включает мультидоменные корпуса, включая синтетические и реальные пары вопрос-ответ, в обучение RL для улучшения обобщения на разнообразные задачи рассуждений. NEMOTRON-CROSSTHINK решает ключевые проблемы путем (1) включения данных из различных источников, охватывающих STEM, гуманитарные, социальные науки и т.д.; (2) применения структурированных шаблонов (например, множественный выбор и открытые вопросы) для контроля сложности пространства ответов; (3) фильтрации проверяемых ответов; и (4) оптимизации стратегий смешивания данных, эффективно использующих данные из нескольких источников. Наш подход позволяет масштабировать и проверять моделирование вознаграждения за пределами математики и демонстрирует улучшенную точность как на математических (MATH-500: +30,1%, AMC23: +27,5%), так и на неметематических тестах рассуждений (MMLU-PRO: +12,8%, GPQA-DIAMOND: +11,3%, AGIEVAL: +15,1%, SUPERGPQA: +3,8%). Более того, NEMOTRON-CROSSTHINK показывает значительно улучшенную эффективность ответов — используя на 28% меньше токенов для правильных ответов — что подчеркивает более сфокусированное и эффективное рассуждение. С помощью NEMOTRON-CROSSTHINK мы демонстрируем, что интеграция мультидоменных, мультиформатных данных в RL приводит к созданию более точных, эффективных и обобщаемых LLM.

English

Large Language Models (LLMs) have shown strong reasoning capabilities, particularly when enhanced through Reinforcement Learning (RL). While prior work has successfully applied RL to mathematical reasoning -- where rules and correctness are well-defined -- generalizing these methods to broader reasoning domains remains challenging due to limited data, the lack of verifiable reward structures, and diverse task requirements. In this work, we propose NEMOTRON-CROSSTHINK, a framework that systematically incorporates multi-domain corpora, including both synthetic and real-world question-answer pairs, into RL training to improve generalization across diverse reasoning tasks. NEMOTRON-CROSSTHINK addresses key challenges by (1) incorporating data from varied sources spanning STEM, humanities, social sciences, etc.; (2) applying structured templates (e.g., multiple-choice and open-ended) to control answer-space complexity; (3) filtering for verifiable answers; and (4) optimizing data blending strategies that utilizes data from multiple sources effectively. Our approach enables scalable and verifiable reward modeling beyond mathematics and demonstrates improved accuracies on both math (MATH-500: +30.1%, AMC23:+27.5%) and non-math reasoning benchmarks (MMLU-PRO: +12.8%, GPQA-DIAMOND: +11.3%, AGIEVAL: +15.1%, SUPERGPQA: +3.8%). Moreover, NEMOTRON-CROSSTHINK exhibits significantly improved response efficiency -- using 28% fewer tokens for correct answers -- highlighting more focused and effective reasoning. Through NEMOTRON-CROSSTHINK, we demonstrate that integrating multi-domain, multi-format data in RL leads to more accurate, efficient, and generalizable LLMs.