o1-Coder: репликация o1 для кодирования

o1-Coder: an o1 Replication for Coding

November 29, 2024

Авторы: Yuxiang Zhang, Shangxi Wu, Yuqi Yang, Jiangming Shu, Jinlin Xiao, Chao Kong, Jitao Sang

cs.AI

Аннотация

Технический отчет представляет O1-CODER, попытку воспроизвести модель o1 от OpenAI с упором на задачи программирования. Он интегрирует обучение с подкреплением (RL) и Монте-Карло поиска по дереву (MCTS) для улучшения когнитивных способностей модели System-2. Фреймворк включает в себя обучение Генератора Тестовых Случаев (TCG) для стандартизированного тестирования кода, использование MCTS для генерации данных кода с процессами рассуждения, и итеративное настройку политики модели для начального создания псевдокода, за которым следует генерация полного кода. В отчете также рассматриваются возможности и вызовы в развертывании моделей подобных o1 в прикладных областях, предлагается переход к парадигме System-2 и выделяется необходимость обновлений состояния окружения. Обновленный прогресс модели и результаты экспериментов будут представлены в последующих версиях. Весь исходный код, отобранные наборы данных, а также полученные модели будут опубликованы на https://github.com/ADaM-BJTU/O1-CODER.

English

The technical report introduces O1-CODER, an attempt to replicate OpenAI's o1 model with a focus on coding tasks. It integrates reinforcement learning (RL) and Monte Carlo Tree Search (MCTS) to enhance the model's System-2 thinking capabilities. The framework includes training a Test Case Generator (TCG) for standardized code testing, using MCTS to generate code data with reasoning processes, and iteratively fine-tuning the policy model to initially produce pseudocode, followed by the generation of the full code. The report also addresses the opportunities and challenges in deploying o1-like models in real-world applications, suggesting transitioning to the System-2 paradigm and highlighting the imperative for environment state updates. Updated model progress and experimental results will be reported in subsequent versions. All source code, curated datasets, as well as the derived models will be disclosed at https://github.com/ADaM-BJTU/O1-CODER .