CoRT: Raciocínio Integrado ao Código no Pensamento

CoRT: Code-integrated Reasoning within Thinking

June 11, 2025

Autores: Chengpeng Li, Zhengyang Tang, Ziniu Li, Mingfeng Xue, Keqin Bao, Tian Ding, Ruoyu Sun, Benyou Wang, Xiang Wang, Junyang Lin, Dayiheng Liu

cs.AI

Resumo

Modelos de Raciocínio de Grande Escala (LRMs, na sigla em inglês), como o o1 e o DeepSeek-R1, têm demonstrado progresso notável no raciocínio em linguagem natural com cadeias longas de pensamento (CoT, na sigla em inglês). No entanto, eles ainda são ineficientes ou imprecisos ao lidar com operações matemáticas complexas. Abordar essas limitações por meio de ferramentas computacionais (por exemplo, bibliotecas de cálculo e solucionadores simbólicos) é promissor, mas introduz um desafio técnico: o Interpretador de Código (CI, na sigla em inglês) traz conhecimento externo além das representações de texto internas do modelo, tornando a combinação direta ineficiente. Este artigo apresenta o CoRT, uma estrutura de pós-treinamento para ensinar LRMs a utilizar o CI de forma eficaz e eficiente. Como primeiro passo, abordamos a escassez de dados sintetizando dados de raciocínio integrados a código por meio da Engenharia de Dicas (Hint-Engineering), que insere estrategicamente diferentes dicas em posições apropriadas para otimizar a interação LRM-CI. Criamos manualmente 30 amostras de alta qualidade, sobre as quais realizamos o pós-treinamento de modelos variando de 1,5B a 32B parâmetros, com ajuste fino supervisionado, ajuste fino por rejeição e aprendizado por reforço. Nossos resultados experimentais demonstram que os modelos com Engenharia de Dicas alcançam melhorias absolutas de 4% e 8% no DeepSeek-R1-Distill-Qwen-32B e no DeepSeek-R1-Distill-Qwen-1.5B, respectivamente, em cinco conjuntos de dados desafiadores de raciocínio matemático. Além disso, os modelos com Engenharia de Dicas usam cerca de 30% menos tokens para o modelo de 32B e 50% menos tokens para o modelo de 1,5B em comparação com os modelos de linguagem natural. Os modelos e o código estão disponíveis em https://github.com/ChengpengLi1003/CoRT.

English

Large Reasoning Models (LRMs) like o1 and DeepSeek-R1 have shown remarkable progress in natural language reasoning with long chain-of-thought (CoT), yet they remain inefficient or inaccurate when handling complex mathematical operations. Addressing these limitations through computational tools (e.g., computation libraries and symbolic solvers) is promising, but it introduces a technical challenge: Code Interpreter (CI) brings external knowledge beyond the model's internal text representations, thus the direct combination is not efficient. This paper introduces CoRT, a post-training framework for teaching LRMs to leverage CI effectively and efficiently. As a first step, we address the data scarcity issue by synthesizing code-integrated reasoning data through Hint-Engineering, which strategically inserts different hints at appropriate positions to optimize LRM-CI interaction. We manually create 30 high-quality samples, upon which we post-train models ranging from 1.5B to 32B parameters, with supervised fine-tuning, rejection fine-tuning and reinforcement learning. Our experimental results demonstrate that Hint-Engineering models achieve 4\% and 8\% absolute improvements on DeepSeek-R1-Distill-Qwen-32B and DeepSeek-R1-Distill-Qwen-1.5B respectively, across five challenging mathematical reasoning datasets. Furthermore, Hint-Engineering models use about 30\% fewer tokens for the 32B model and 50\% fewer tokens for the 1.5B model compared with the natural language models. The models and code are available at https://github.com/ChengpengLi1003/CoRT.