CodeI/O: Сжатие паттернов рассуждений с помощью предсказания ввода-вывода кода

CodeI/O: Condensing Reasoning Patterns via Code Input-Output Prediction

February 11, 2025

Авторы: Junlong Li, Daya Guo, Dejian Yang, Runxin Xu, Yu Wu, Junxian He

cs.AI

Аннотация

Рассуждение является фундаментальной способностью крупных языковых моделей. В то время как предыдущие исследования в основном сосредотачивались на улучшении узких навыков, таких как математика или генерация кода, улучшение производительности на многих других задачах рассуждения остается сложной из-за ограниченных и фрагментированных обучающих данных. Для решения этой проблемы мы предлагаем CodeI/O, новый подход, который систематически сжимает разнообразные образцы рассуждений, встроенные в контекстуально обоснованные коды, путем преобразования исходного кода в формат предсказания ввода-вывода кода. Обучая модели предсказывать входы/выходы на основе кода и тестовых случаев полностью на естественном языке в виде цепочки рассуждений (CoT), мы подвергаем их универсальным примитивам рассуждения - таким как планирование логического потока, поиск пространства состояний, обход дерева решений и модульное декомпозиция - одновременно отделяя структурированное рассуждение от специфического для кода синтаксиса и сохраняя процедурную строгость. Экспериментальные результаты показывают, что CodeI/O приводит к последовательному улучшению результатов на символьных, научных, логических, математических и числовых и общезначимых задачах рассуждения. Путем сопоставления существующих выходных данных или повторного выполнения кода с предсказанными входами мы можем проверить каждое предсказание и дополнительно улучшить цепочки рассуждений через многократную ревизию, что приводит к CodeI/O++ и достижению более высокой производительности. Наши данные и модели доступны по адресу https://github.com/hkust-nlp/CodeIO.

English

Reasoning is a fundamental capability of Large Language Models. While prior research predominantly focuses on enhancing narrow skills like math or code generation, improving performance on many other reasoning tasks remains challenging due to sparse and fragmented training data. To address this issue, we propose CodeI/O, a novel approach that systematically condenses diverse reasoning patterns inherently embedded in contextually-grounded codes, through transforming the original code into a code input-output prediction format. By training models to predict inputs/outputs given code and test cases entirely in natural language as Chain-of-Thought (CoT) rationales, we expose them to universal reasoning primitives -- like logic flow planning, state-space searching, decision tree traversal, and modular decomposition -- while decoupling structured reasoning from code-specific syntax and preserving procedural rigor. Experimental results demonstrate CodeI/O leads to consistent improvements across symbolic, scientific, logic, math & numerical, and commonsense reasoning tasks. By matching the existing ground-truth outputs or re-executing the code with predicted inputs, we can verify each prediction and further enhance the CoTs through multi-turn revision, resulting in CodeI/O++ and achieving higher performance. Our data and models are available at https://github.com/hkust-nlp/CodeIO.