CodeI/O: Condensación de Patrones de Razonamiento a través de la Predicción de Entrada y Salida de Código

CodeI/O: Condensing Reasoning Patterns via Code Input-Output Prediction

February 11, 2025

Autores: Junlong Li, Daya Guo, Dejian Yang, Runxin Xu, Yu Wu, Junxian He

cs.AI

Resumen

El razonamiento es una capacidad fundamental de los Modelos de Lenguaje Grandes. Mientras que la investigación previa se enfoca predominantemente en mejorar habilidades específicas como matemáticas o generación de código, mejorar el rendimiento en muchas otras tareas de razonamiento sigue siendo un desafío debido a la escasez y fragmentación de datos de entrenamiento. Para abordar este problema, proponemos CodeI/O, un enfoque novedoso que condensa sistemáticamente diversos patrones de razonamiento inherentemente integrados en códigos contextualmente fundamentados, mediante la transformación del código original en un formato de predicción de entrada-salida de código. Al entrenar modelos para predecir entradas/salidas dadas el código y casos de prueba completamente en lenguaje natural como razonamientos en Cadena de Pensamiento (CoT), los exponemos a primitivas de razonamiento universales, como la planificación de flujo lógico, la búsqueda de espacio de estados, la travesía de árboles de decisión y la descomposición modular, al mismo tiempo que se desacopla el razonamiento estructurado de la sintaxis específica del código y se preserva el rigor procedimental. Los resultados experimentales demuestran que CodeI/O conduce a mejoras consistentes en tareas de razonamiento simbólico, científico, lógico, matemático y numérico, y de sentido común. Al igualar las salidas de verdad existentes o volver a ejecutar el código con las entradas predichas, podemos verificar cada predicción y mejorar aún más los CoTs a través de revisiones de múltiples turnos, lo que resulta en CodeI/O++ y logrando un rendimiento superior. Nuestros datos y modelos están disponibles en https://github.com/hkust-nlp/CodeIO.

English

Reasoning is a fundamental capability of Large Language Models. While prior research predominantly focuses on enhancing narrow skills like math or code generation, improving performance on many other reasoning tasks remains challenging due to sparse and fragmented training data. To address this issue, we propose CodeI/O, a novel approach that systematically condenses diverse reasoning patterns inherently embedded in contextually-grounded codes, through transforming the original code into a code input-output prediction format. By training models to predict inputs/outputs given code and test cases entirely in natural language as Chain-of-Thought (CoT) rationales, we expose them to universal reasoning primitives -- like logic flow planning, state-space searching, decision tree traversal, and modular decomposition -- while decoupling structured reasoning from code-specific syntax and preserving procedural rigor. Experimental results demonstrate CodeI/O leads to consistent improvements across symbolic, scientific, logic, math & numerical, and commonsense reasoning tasks. By matching the existing ground-truth outputs or re-executing the code with predicted inputs, we can verify each prediction and further enhance the CoTs through multi-turn revision, resulting in CodeI/O++ and achieving higher performance. Our data and models are available at https://github.com/hkust-nlp/CodeIO.