CoRT: Code-geïntegreerd Redeneren binnen Denken

CoRT: Code-integrated Reasoning within Thinking

June 11, 2025

Auteurs: Chengpeng Li, Zhengyang Tang, Ziniu Li, Mingfeng Xue, Keqin Bao, Tian Ding, Ruoyu Sun, Benyou Wang, Xiang Wang, Junyang Lin, Dayiheng Liu

cs.AI

Samenvatting

Grote Redeneermodellen (LRMs) zoals o1 en DeepSeek-R1 hebben opmerkelijke vooruitgang geboekt in natuurlijke taalredenering met lange ketens van gedachten (CoT), maar ze blijven inefficiënt of onnauwkeurig bij het verwerken van complexe wiskundige bewerkingen. Het aanpakken van deze beperkingen via computationele tools (bijvoorbeeld rekenbibliotheken en symbolische oplossers) is veelbelovend, maar introduceert een technische uitdaging: de Code Interpreter (CI) brengt externe kennis in die verder gaat dan de interne tekstrepresentaties van het model, waardoor een directe combinatie niet efficiënt is. Dit artikel introduceert CoRT, een post-trainingsframework voor het aanleren van LRMs om CI effectief en efficiënt te benutten. Als eerste stap pakken we het probleem van dataschaarste aan door code-geïntegreerde redeneergegevens te synthetiseren via Hint-Engineering, waarbij strategisch verschillende hints op geschikte posities worden ingevoegd om de LRM-CI-interactie te optimaliseren. We maken handmatig 30 hoogwaardige voorbeelden, waarop we modellen met een bereik van 1,5B tot 32B parameters post-trainen, met supervised fine-tuning, rejection fine-tuning en reinforcement learning. Onze experimentele resultaten tonen aan dat Hint-Engineering-modellen absolute verbeteringen van 4% en 8% behalen op respectievelijk DeepSeek-R1-Distill-Qwen-32B en DeepSeek-R1-Distill-Qwen-1.5B, over vijf uitdagende wiskundige redeneerdatasets. Bovendien gebruiken Hint-Engineering-modellen ongeveer 30% minder tokens voor het 32B-model en 50% minder tokens voor het 1.5B-model in vergelijking met de natuurlijke taalmodellen. De modellen en code zijn beschikbaar op https://github.com/ChengpengLi1003/CoRT.

English

Large Reasoning Models (LRMs) like o1 and DeepSeek-R1 have shown remarkable progress in natural language reasoning with long chain-of-thought (CoT), yet they remain inefficient or inaccurate when handling complex mathematical operations. Addressing these limitations through computational tools (e.g., computation libraries and symbolic solvers) is promising, but it introduces a technical challenge: Code Interpreter (CI) brings external knowledge beyond the model's internal text representations, thus the direct combination is not efficient. This paper introduces CoRT, a post-training framework for teaching LRMs to leverage CI effectively and efficiently. As a first step, we address the data scarcity issue by synthesizing code-integrated reasoning data through Hint-Engineering, which strategically inserts different hints at appropriate positions to optimize LRM-CI interaction. We manually create 30 high-quality samples, upon which we post-train models ranging from 1.5B to 32B parameters, with supervised fine-tuning, rejection fine-tuning and reinforcement learning. Our experimental results demonstrate that Hint-Engineering models achieve 4\% and 8\% absolute improvements on DeepSeek-R1-Distill-Qwen-32B and DeepSeek-R1-Distill-Qwen-1.5B respectively, across five challenging mathematical reasoning datasets. Furthermore, Hint-Engineering models use about 30\% fewer tokens for the 32B model and 50\% fewer tokens for the 1.5B model compared with the natural language models. The models and code are available at https://github.com/ChengpengLi1003/CoRT.