o1-Coder: een o1-replicatie voor codering

o1-Coder: an o1 Replication for Coding

November 29, 2024

Auteurs: Yuxiang Zhang, Shangxi Wu, Yuqi Yang, Jiangming Shu, Jinlin Xiao, Chao Kong, Jitao Sang

cs.AI

Samenvatting

Het technische rapport introduceert O1-CODER, een poging om het o1-model van OpenAI te repliceren met een focus op coderingstaken. Het integreert reinforcement learning (RL) en Monte Carlo Tree Search (MCTS) om de System-2 denkcapaciteiten van het model te verbeteren. Het framework omvat het trainen van een Test Case Generator (TCG) voor gestandaardiseerde codetesting, het gebruik van MCTS om codegegevens te genereren met redeneerprocessen, en het iteratief verfijnen van het beleidsmodel om aanvankelijk pseudocode te produceren, gevolgd door de generatie van de volledige code. Het rapport behandelt ook de kansen en uitdagingen bij het implementeren van o1-achtige modellen in real-world toepassingen, waarbij wordt gesuggereerd over te stappen naar het System-2 paradigma en het benadrukken van de noodzaak van updates van de omgevingsstatus. Bijgewerkte modelvoortgang en experimentele resultaten zullen worden gerapporteerd in latere versies. Alle broncode, samengestelde datasets, evenals de afgeleide modellen zullen worden vrijgegeven op https://github.com/ADaM-BJTU/O1-CODER.

English

The technical report introduces O1-CODER, an attempt to replicate OpenAI's o1 model with a focus on coding tasks. It integrates reinforcement learning (RL) and Monte Carlo Tree Search (MCTS) to enhance the model's System-2 thinking capabilities. The framework includes training a Test Case Generator (TCG) for standardized code testing, using MCTS to generate code data with reasoning processes, and iteratively fine-tuning the policy model to initially produce pseudocode, followed by the generation of the full code. The report also addresses the opportunities and challenges in deploying o1-like models in real-world applications, suggesting transitioning to the System-2 paradigm and highlighting the imperative for environment state updates. Updated model progress and experimental results will be reported in subsequent versions. All source code, curated datasets, as well as the derived models will be disclosed at https://github.com/ADaM-BJTU/O1-CODER .