o1-Coder: Eine o1-Replikation für das Codieren.

o1-Coder: an o1 Replication for Coding

November 29, 2024

Autoren: Yuxiang Zhang, Shangxi Wu, Yuqi Yang, Jiangming Shu, Jinlin Xiao, Chao Kong, Jitao Sang

cs.AI

Zusammenfassung

Der technische Bericht stellt O1-CODER vor, einen Versuch, das Modell o1 von OpenAI mit Fokus auf Codieraufgaben zu replizieren. Es integriert Reinforcement Learning (RL) und Monte Carlo Tree Search (MCTS), um die System-2 Denkfähigkeiten des Modells zu verbessern. Das Framework umfasst das Training eines Test Case Generators (TCG) für standardisierte Code-Tests, die Verwendung von MCTS zur Generierung von Code-Daten mit Begründungsprozessen und die iterative Feinabstimmung des Richtlinienmodells, um zunächst Pseudocode zu erstellen, gefolgt von der Generierung des vollständigen Codes. Der Bericht behandelt auch die Chancen und Herausforderungen bei der Implementierung von o1-ähnlichen Modellen in realen Anwendungen, schlägt den Übergang zum System-2-Paradigma vor und hebt die Notwendigkeit von Umgebungszustandsaktualisierungen hervor. Aktualisierter Modellfortschritt und experimentelle Ergebnisse werden in nachfolgenden Versionen berichtet. Der gesamte Quellcode, kuratierte Datensätze sowie die abgeleiteten Modelle werden auf https://github.com/ADaM-BJTU/O1-CODER offengelegt.

English

The technical report introduces O1-CODER, an attempt to replicate OpenAI's o1 model with a focus on coding tasks. It integrates reinforcement learning (RL) and Monte Carlo Tree Search (MCTS) to enhance the model's System-2 thinking capabilities. The framework includes training a Test Case Generator (TCG) for standardized code testing, using MCTS to generate code data with reasoning processes, and iteratively fine-tuning the policy model to initially produce pseudocode, followed by the generation of the full code. The report also addresses the opportunities and challenges in deploying o1-like models in real-world applications, suggesting transitioning to the System-2 paradigm and highlighting the imperative for environment state updates. Updated model progress and experimental results will be reported in subsequent versions. All source code, curated datasets, as well as the derived models will be disclosed at https://github.com/ADaM-BJTU/O1-CODER .