o1-Coder : une réplication o1 pour la programmation

o1-Coder: an o1 Replication for Coding

November 29, 2024

Auteurs: Yuxiang Zhang, Shangxi Wu, Yuqi Yang, Jiangming Shu, Jinlin Xiao, Chao Kong, Jitao Sang

cs.AI

Résumé

Le rapport technique présente O1-CODER, une tentative de reproduire le modèle o1 d'OpenAI en se concentrant sur les tâches de codage. Il intègre l'apprentissage par renforcement (RL) et la recherche arborescente Monte Carlo (MCTS) pour améliorer les capacités de réflexion du Système-2 du modèle. Le cadre comprend la formation d'un Générateur de Cas de Test (TCG) pour des tests de code standardisés, en utilisant MCTS pour générer des données de code avec des processus de raisonnement, et en affinant de manière itérative le modèle de politique pour produire initialement du pseudocode, suivi de la génération du code complet. Le rapport aborde également les opportunités et les défis liés au déploiement de modèles similaires à o1 dans des applications du monde réel, suggérant une transition vers le paradigme du Système-2 et soulignant l'impératif des mises à jour de l'état de l'environnement. Les progrès du modèle mis à jour et les résultats expérimentaux seront rapportés dans les versions ultérieures. Tout le code source, les ensembles de données sélectionnés, ainsi que les modèles dérivés seront divulgués sur https://github.com/ADaM-BJTU/O1-CODER.

English

The technical report introduces O1-CODER, an attempt to replicate OpenAI's o1 model with a focus on coding tasks. It integrates reinforcement learning (RL) and Monte Carlo Tree Search (MCTS) to enhance the model's System-2 thinking capabilities. The framework includes training a Test Case Generator (TCG) for standardized code testing, using MCTS to generate code data with reasoning processes, and iteratively fine-tuning the policy model to initially produce pseudocode, followed by the generation of the full code. The report also addresses the opportunities and challenges in deploying o1-like models in real-world applications, suggesting transitioning to the System-2 paradigm and highlighting the imperative for environment state updates. Updated model progress and experimental results will be reported in subsequent versions. All source code, curated datasets, as well as the derived models will be disclosed at https://github.com/ADaM-BJTU/O1-CODER .