CoRT: Code-integriertes Denken und Schlussfolgern

CoRT: Code-integrated Reasoning within Thinking

June 11, 2025

Autoren: Chengpeng Li, Zhengyang Tang, Ziniu Li, Mingfeng Xue, Keqin Bao, Tian Ding, Ruoyu Sun, Benyou Wang, Xiang Wang, Junyang Lin, Dayiheng Liu

cs.AI

Zusammenfassung

Große Reasoning-Modelle (LRMs) wie o1 und DeepSeek-R1 haben bemerkenswerte Fortschritte im natürlichen Sprachverständnis mit langen Ketten von Gedanken (Chain-of-Thought, CoT) gezeigt, bleiben jedoch ineffizient oder ungenau bei der Handhabung komplexer mathematischer Operationen. Die Bewältigung dieser Einschränkungen durch rechnerische Werkzeuge (z. B. Rechenbibliotheken und symbolische Löser) ist vielversprechend, führt jedoch zu einer technischen Herausforderung: Der Code-Interpreter (CI) bringt externes Wissen über die internen Textrepräsentationen des Modells hinaus, wodurch die direkte Kombination nicht effizient ist. Dieses Papier stellt CoRT vor, ein Post-Training-Framework, um LRMs beizubringen, den CI effektiv und effizient zu nutzen. Als ersten Schritt adressieren wir das Problem der Datenknappheit, indem wir Code-integrierte Reasoning-Daten durch Hint-Engineering synthetisieren, das strategisch verschiedene Hinweise an geeigneten Positionen einfügt, um die LRM-CI-Interaktion zu optimieren. Wir erstellen manuell 30 hochwertige Beispiele, auf denen wir Modelle mit 1,5B bis 32B Parametern nachtrainieren, mit überwachtem Feintuning, Ablehnungs-Feintuning und Verstärkungslernen. Unsere experimentellen Ergebnisse zeigen, dass Hint-Engineering-Modelle absolute Verbesserungen von 4 % bzw. 8 % auf DeepSeek-R1-Distill-Qwen-32B und DeepSeek-R1-Distill-Qwen-1.5B über fünf anspruchsvolle mathematische Reasoning-Datensätze erzielen. Darüber hinaus verwenden Hint-Engineering-Modelle etwa 30 % weniger Tokens für das 32B-Modell und 50 % weniger Tokens für das 1,5B-Modell im Vergleich zu natürlichen Sprachmodellen. Die Modelle und der Code sind verfügbar unter https://github.com/ChengpengLi1003/CoRT.

English

Large Reasoning Models (LRMs) like o1 and DeepSeek-R1 have shown remarkable progress in natural language reasoning with long chain-of-thought (CoT), yet they remain inefficient or inaccurate when handling complex mathematical operations. Addressing these limitations through computational tools (e.g., computation libraries and symbolic solvers) is promising, but it introduces a technical challenge: Code Interpreter (CI) brings external knowledge beyond the model's internal text representations, thus the direct combination is not efficient. This paper introduces CoRT, a post-training framework for teaching LRMs to leverage CI effectively and efficiently. As a first step, we address the data scarcity issue by synthesizing code-integrated reasoning data through Hint-Engineering, which strategically inserts different hints at appropriate positions to optimize LRM-CI interaction. We manually create 30 high-quality samples, upon which we post-train models ranging from 1.5B to 32B parameters, with supervised fine-tuning, rejection fine-tuning and reinforcement learning. Our experimental results demonstrate that Hint-Engineering models achieve 4\% and 8\% absolute improvements on DeepSeek-R1-Distill-Qwen-32B and DeepSeek-R1-Distill-Qwen-1.5B respectively, across five challenging mathematical reasoning datasets. Furthermore, Hint-Engineering models use about 30\% fewer tokens for the 32B model and 50\% fewer tokens for the 1.5B model compared with the natural language models. The models and code are available at https://github.com/ChengpengLi1003/CoRT.