CodeI/O: Condensação de Padrões de Raciocínio por meio da Predição de Entrada e Saída de Código

CodeI/O: Condensing Reasoning Patterns via Code Input-Output Prediction

February 11, 2025

Autores: Junlong Li, Daya Guo, Dejian Yang, Runxin Xu, Yu Wu, Junxian He

cs.AI

Resumo

O raciocínio é uma capacidade fundamental dos Modelos de Linguagem de Grande Escala. Enquanto pesquisas anteriores se concentram predominantemente em aprimorar habilidades específicas como matemática ou geração de código, melhorar o desempenho em muitas outras tarefas de raciocínio continua sendo desafiador devido à escassez e fragmentação dos dados de treinamento. Para lidar com esse problema, propomos CodeI/O, uma abordagem inovadora que condensa sistematicamente diversos padrões de raciocínio intrinsecamente incorporados em códigos contextualmente fundamentados, transformando o código original em um formato de previsão de entrada e saída de código. Ao treinar modelos para prever entradas/saídas dadas as instruções de código e casos de teste inteiramente em linguagem natural como justificativas de Cadeia de Pensamento (CoT), os expomos a primitivas de raciocínio universais -- como planejamento de fluxo lógico, busca de espaço de estados, travessia de árvore de decisão e decomposição modular -- ao desvincular o raciocínio estruturado da sintaxe específica do código e preservar o rigor procedural. Resultados experimentais demonstram que o CodeI/O leva a melhorias consistentes em tarefas de raciocínio simbólico, científico, lógico, matemático e numérico, e de senso comum. Ao corresponder às saídas de referência existentes ou reexecutar o código com as entradas previstas, podemos verificar cada previsão e aprimorar ainda mais as CoTs por meio de revisões de múltiplas etapas, resultando no CodeI/O++ e alcançando um desempenho superior. Nossos dados e modelos estão disponíveis em https://github.com/hkust-nlp/CodeIO.

English

Reasoning is a fundamental capability of Large Language Models. While prior research predominantly focuses on enhancing narrow skills like math or code generation, improving performance on many other reasoning tasks remains challenging due to sparse and fragmented training data. To address this issue, we propose CodeI/O, a novel approach that systematically condenses diverse reasoning patterns inherently embedded in contextually-grounded codes, through transforming the original code into a code input-output prediction format. By training models to predict inputs/outputs given code and test cases entirely in natural language as Chain-of-Thought (CoT) rationales, we expose them to universal reasoning primitives -- like logic flow planning, state-space searching, decision tree traversal, and modular decomposition -- while decoupling structured reasoning from code-specific syntax and preserving procedural rigor. Experimental results demonstrate CodeI/O leads to consistent improvements across symbolic, scientific, logic, math & numerical, and commonsense reasoning tasks. By matching the existing ground-truth outputs or re-executing the code with predicted inputs, we can verify each prediction and further enhance the CoTs through multi-turn revision, resulting in CodeI/O++ and achieving higher performance. Our data and models are available at https://github.com/hkust-nlp/CodeIO.