CodeI/O: Condensazione dei Modelli di Ragionamento tramite la Predizione di Input-Output del Codice

CodeI/O: Condensing Reasoning Patterns via Code Input-Output Prediction

February 11, 2025

Autori: Junlong Li, Daya Guo, Dejian Yang, Runxin Xu, Yu Wu, Junxian He

cs.AI

Abstract

Il ragionamento è una capacità fondamentale dei Grandi Modelli Linguistici. Mentre la ricerca precedente si concentra principalmente sul potenziamento di abilità specifiche come la matematica o la generazione di codice, migliorare le prestazioni su molti altri compiti di ragionamento rimane difficile a causa dei dati di addestramento scarsi e frammentati. Per affrontare questo problema, proponiamo CodeI/O, un approccio innovativo che condensa in modo sistematico diversi schemi di ragionamento intrinsecamente incorporati nei codici contestualmente fondati, trasformando il codice originale in un formato di previsione input-output del codice. Addestrando i modelli a prevedere input/output dato il codice e i casi di test interamente in linguaggio naturale come ragionamenti Chain-of-Thought (CoT), li esponiamo a primitive di ragionamento universali -- come la pianificazione del flusso logico, la ricerca dello spazio degli stati, il travaso dell'albero decisionale e la decomposizione modulare -- separando il ragionamento strutturato dalla sintassi specifica del codice e preservando la rigore procedurale. I risultati sperimentali dimostrano che CodeI/O porta a miglioramenti consistenti su compiti di ragionamento simbolico, scientifico, logico, matematico e numerico, e di buon senso. Abbinando le uscite di verità esistenti o rieseguendo il codice con input previsti, possiamo verificare ogni previsione e migliorare ulteriormente i CoT attraverso revisioni multi-turno, ottenendo così CodeI/O++ e raggiungendo prestazioni superiori. I nostri dati e modelli sono disponibili su https://github.com/hkust-nlp/CodeIO.

English

Reasoning is a fundamental capability of Large Language Models. While prior research predominantly focuses on enhancing narrow skills like math or code generation, improving performance on many other reasoning tasks remains challenging due to sparse and fragmented training data. To address this issue, we propose CodeI/O, a novel approach that systematically condenses diverse reasoning patterns inherently embedded in contextually-grounded codes, through transforming the original code into a code input-output prediction format. By training models to predict inputs/outputs given code and test cases entirely in natural language as Chain-of-Thought (CoT) rationales, we expose them to universal reasoning primitives -- like logic flow planning, state-space searching, decision tree traversal, and modular decomposition -- while decoupling structured reasoning from code-specific syntax and preserving procedural rigor. Experimental results demonstrate CodeI/O leads to consistent improvements across symbolic, scientific, logic, math & numerical, and commonsense reasoning tasks. By matching the existing ground-truth outputs or re-executing the code with predicted inputs, we can verify each prediction and further enhance the CoTs through multi-turn revision, resulting in CodeI/O++ and achieving higher performance. Our data and models are available at https://github.com/hkust-nlp/CodeIO.