CodeI/O: Verdichtung von Denkmustern durch die Vorhersage von Code-Ein- und -Ausgaben

CodeI/O: Condensing Reasoning Patterns via Code Input-Output Prediction

February 11, 2025

Autoren: Junlong Li, Daya Guo, Dejian Yang, Runxin Xu, Yu Wu, Junxian He

cs.AI

Zusammenfassung

Das Argumentieren ist eine grundlegende Fähigkeit großer Sprachmodelle. Während bisherige Forschung hauptsächlich darauf abzielt, spezifische Fähigkeiten wie Mathematik oder Codegenerierung zu verbessern, bleibt die Verbesserung der Leistung bei vielen anderen Argumentationsaufgaben aufgrund spärlicher und fragmentierter Trainingsdaten herausfordernd. Um dieses Problem anzugehen, schlagen wir CodeI/O vor, einen neuartigen Ansatz, der systematisch verschiedene Argumentationsmuster, die in kontextbezogenen Codes eingebettet sind, kondensiert, indem der ursprüngliche Code in ein Format zur Vorhersage von Code-Ein- und -Ausgaben umgewandelt wird. Durch das Training von Modellen zur Vorhersage von Eingaben/Ausgaben basierend auf Code und Testfällen ausschließlich in natürlicher Sprache als Ketten von Gedanken (CoT) werden sie universellen Argumentationsprimitiven ausgesetzt - wie logische Flussplanung, Zustandsraum-Suche, Entscheidungsbaum-Traversierung und modulare Zerlegung - während strukturierte Argumentation von codespezifischer Syntax entkoppelt und prozedurale Strenge bewahrt wird. Experimentelle Ergebnisse zeigen, dass CodeI/O zu konsistenten Verbesserungen bei symbolischer, wissenschaftlicher, logischer, mathematischer und numerischer sowie allgemeiner Argumentation führt. Durch Abgleich mit den vorhandenen Ground-Truth-Ausgaben oder erneutes Ausführen des Codes mit vorhergesagten Eingaben können wir jede Vorhersage überprüfen und die CoTs durch mehrstufige Überarbeitung weiter verbessern, was zu CodeI/O++ und einer höheren Leistung führt. Unsere Daten und Modelle sind unter https://github.com/hkust-nlp/CodeIO verfügbar.

English

Reasoning is a fundamental capability of Large Language Models. While prior research predominantly focuses on enhancing narrow skills like math or code generation, improving performance on many other reasoning tasks remains challenging due to sparse and fragmented training data. To address this issue, we propose CodeI/O, a novel approach that systematically condenses diverse reasoning patterns inherently embedded in contextually-grounded codes, through transforming the original code into a code input-output prediction format. By training models to predict inputs/outputs given code and test cases entirely in natural language as Chain-of-Thought (CoT) rationales, we expose them to universal reasoning primitives -- like logic flow planning, state-space searching, decision tree traversal, and modular decomposition -- while decoupling structured reasoning from code-specific syntax and preserving procedural rigor. Experimental results demonstrate CodeI/O leads to consistent improvements across symbolic, scientific, logic, math & numerical, and commonsense reasoning tasks. By matching the existing ground-truth outputs or re-executing the code with predicted inputs, we can verify each prediction and further enhance the CoTs through multi-turn revision, resulting in CodeI/O++ and achieving higher performance. Our data and models are available at https://github.com/hkust-nlp/CodeIO.