NEMOTRON-CROSSTHINK: Skalierung des Selbstlernens über mathematisches Denken hinaus

NEMOTRON-CROSSTHINK: Scaling Self-Learning beyond Math Reasoning

April 15, 2025

Autoren: Syeda Nahida Akter, Shrimai Prabhumoye, Matvei Novikov, Seungju Han, Ying Lin, Evelina Bakhturi, Eric Nyberg, Yejin Choi, Mostofa Patwary, Mohammad Shoeybi, Bryan Catanzaro

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben starke Fähigkeiten im Bereich des logischen Denkens gezeigt, insbesondere wenn sie durch Reinforcement Learning (RL) verbessert werden. Während frühere Arbeiten RL erfolgreich auf mathematisches Denken angewendet haben – wo Regeln und Korrektheit klar definiert sind – bleibt die Verallgemeinerung dieser Methoden auf breitere Denkdomänen aufgrund begrenzter Daten, fehlender überprüfbarer Belohnungsstrukturen und vielfältiger Aufgabenanforderungen eine Herausforderung. In dieser Arbeit schlagen wir NEMOTRON-CROSSTHINK vor, ein Framework, das systematisch Multi-Domain-Korpora, einschließlich synthetischer und realer Frage-Antwort-Paare, in das RL-Training integriert, um die Generalisierung über verschiedene Denkaufgaben hinweg zu verbessern. NEMOTRON-CROSSTHINK adressiert zentrale Herausforderungen durch (1) die Einbindung von Daten aus verschiedenen Quellen, die STEM, Geisteswissenschaften, Sozialwissenschaften usw. abdecken; (2) die Anwendung strukturierter Vorlagen (z. B. Multiple-Choice und Freitext), um die Komplexität des Antwortraums zu kontrollieren; (3) die Filterung nach überprüfbaren Antworten; und (4) die Optimierung von Datenmischungsstrategien, die Daten aus mehreren Quellen effektiv nutzen. Unser Ansatz ermöglicht skalierbare und überprüfbare Belohnungsmodellierung über Mathematik hinaus und zeigt verbesserte Genauigkeiten sowohl bei mathematischen (MATH-500: +30,1 %, AMC23: +27,5 %) als auch bei nicht-mathematischen Denkbenchmarks (MMLU-PRO: +12,8 %, GPQA-DIAMOND: +11,3 %, AGIEVAL: +15,1 %, SUPERGPQA: +3,8 %). Darüber hinaus zeigt NEMOTRON-CROSSTHINK eine deutlich verbesserte Antworteffizienz – es werden 28 % weniger Tokens für korrekte Antworten verwendet – was auf fokussierteres und effektiveres Denken hinweist. Durch NEMOTRON-CROSSTHINK demonstrieren wir, dass die Integration von Multi-Domain-, Multi-Format-Daten in RL zu genaueren, effizienteren und besser generalisierbaren LLMs führt.

English

Large Language Models (LLMs) have shown strong reasoning capabilities, particularly when enhanced through Reinforcement Learning (RL). While prior work has successfully applied RL to mathematical reasoning -- where rules and correctness are well-defined -- generalizing these methods to broader reasoning domains remains challenging due to limited data, the lack of verifiable reward structures, and diverse task requirements. In this work, we propose NEMOTRON-CROSSTHINK, a framework that systematically incorporates multi-domain corpora, including both synthetic and real-world question-answer pairs, into RL training to improve generalization across diverse reasoning tasks. NEMOTRON-CROSSTHINK addresses key challenges by (1) incorporating data from varied sources spanning STEM, humanities, social sciences, etc.; (2) applying structured templates (e.g., multiple-choice and open-ended) to control answer-space complexity; (3) filtering for verifiable answers; and (4) optimizing data blending strategies that utilizes data from multiple sources effectively. Our approach enables scalable and verifiable reward modeling beyond mathematics and demonstrates improved accuracies on both math (MATH-500: +30.1%, AMC23:+27.5%) and non-math reasoning benchmarks (MMLU-PRO: +12.8%, GPQA-DIAMOND: +11.3%, AGIEVAL: +15.1%, SUPERGPQA: +3.8%). Moreover, NEMOTRON-CROSSTHINK exhibits significantly improved response efficiency -- using 28% fewer tokens for correct answers -- highlighting more focused and effective reasoning. Through NEMOTRON-CROSSTHINK, we demonstrate that integrating multi-domain, multi-format data in RL leads to more accurate, efficient, and generalizable LLMs.