CodeI/O: Het samenvatten van redeneerpatronen via voorspelling van code-invoer en -uitvoer.

CodeI/O: Condensing Reasoning Patterns via Code Input-Output Prediction

February 11, 2025

Auteurs: Junlong Li, Daya Guo, Dejian Yang, Runxin Xu, Yu Wu, Junxian He

cs.AI

Samenvatting

Redeneren is een fundamentele vaardigheid van Grote Taalmodellen. Terwijl eerdere onderzoeken zich voornamelijk richten op het verbeteren van specifieke vaardigheden zoals wiskunde of codegeneratie, blijft het verbeteren van prestaties op veel andere redeneertaken uitdagend vanwege schaarse en gefragmenteerde trainingsgegevens. Om dit probleem aan te pakken, stellen we CodeI/O voor, een nieuw benadering die systematisch diverse redeneerpatronen die inherent zijn aan contextueel verankerde codes samenperst, door de oorspronkelijke code om te zetten in een voorspellingsformaat voor code-invoer-uitvoer. Door modellen te trainen om invoer/uitvoer te voorspellen gegeven code en testgevallen volledig in natuurlijke taal als keten-van-denken (CoT) rationales, stellen we ze bloot aan universele redeneerprimitieven -- zoals logische stroomplanning, zoeken in toestandsruimten, beslissingsboomtraversie en modulaire decompositie -- terwijl we gestructureerd redeneren ontkoppelen van codespecifieke syntaxis en procedurele nauwkeurigheid behouden. Experimentele resultaten tonen aan dat CodeI/O leidt tot consistente verbeteringen over symbolisch, wetenschappelijk, logisch, wiskundig & numeriek en gezond verstand redeneertaken. Door de bestaande echte uitvoerresultaten te matchen of de code opnieuw uit te voeren met voorspelde invoer, kunnen we elke voorspelling verifiëren en de CoT's verder verbeteren door middel van herziening in meerdere stappen, resulterend in CodeI/O++ en het bereiken van hogere prestaties. Onze gegevens en modellen zijn beschikbaar op https://github.com/hkust-nlp/CodeIO.

English

Reasoning is a fundamental capability of Large Language Models. While prior research predominantly focuses on enhancing narrow skills like math or code generation, improving performance on many other reasoning tasks remains challenging due to sparse and fragmented training data. To address this issue, we propose CodeI/O, a novel approach that systematically condenses diverse reasoning patterns inherently embedded in contextually-grounded codes, through transforming the original code into a code input-output prediction format. By training models to predict inputs/outputs given code and test cases entirely in natural language as Chain-of-Thought (CoT) rationales, we expose them to universal reasoning primitives -- like logic flow planning, state-space searching, decision tree traversal, and modular decomposition -- while decoupling structured reasoning from code-specific syntax and preserving procedural rigor. Experimental results demonstrate CodeI/O leads to consistent improvements across symbolic, scientific, logic, math & numerical, and commonsense reasoning tasks. By matching the existing ground-truth outputs or re-executing the code with predicted inputs, we can verify each prediction and further enhance the CoTs through multi-turn revision, resulting in CodeI/O++ and achieving higher performance. Our data and models are available at https://github.com/hkust-nlp/CodeIO.