o1-Coder: una Replicación o1 para Codificación

o1-Coder: an o1 Replication for Coding

November 29, 2024

Autores: Yuxiang Zhang, Shangxi Wu, Yuqi Yang, Jiangming Shu, Jinlin Xiao, Chao Kong, Jitao Sang

cs.AI

Resumen

El informe técnico presenta O1-CODER, un intento de replicar el modelo o1 de OpenAI con un enfoque en tareas de programación. Integra aprendizaje por refuerzo (RL) y Búsqueda del Árbol de Monte Carlo (MCTS) para mejorar las capacidades de pensamiento del Sistema-2 del modelo. El marco incluye el entrenamiento de un Generador de Casos de Prueba (TCG) para pruebas de código estandarizadas, utilizando MCTS para generar datos de código con procesos de razonamiento, y ajustando iterativamente el modelo de política para producir inicialmente pseudocódigo, seguido por la generación del código completo. El informe también aborda las oportunidades y desafíos en la implementación de modelos similares a o1 en aplicaciones del mundo real, sugiriendo la transición al paradigma del Sistema-2 y resaltando la importancia de las actualizaciones del estado del entorno. El progreso del modelo actualizado y los resultados experimentales se informarán en versiones posteriores. Todo el código fuente, conjuntos de datos seleccionados, así como los modelos derivados se divulgarán en https://github.com/ADaM-BJTU/O1-CODER.

English

The technical report introduces O1-CODER, an attempt to replicate OpenAI's o1 model with a focus on coding tasks. It integrates reinforcement learning (RL) and Monte Carlo Tree Search (MCTS) to enhance the model's System-2 thinking capabilities. The framework includes training a Test Case Generator (TCG) for standardized code testing, using MCTS to generate code data with reasoning processes, and iteratively fine-tuning the policy model to initially produce pseudocode, followed by the generation of the full code. The report also addresses the opportunities and challenges in deploying o1-like models in real-world applications, suggesting transitioning to the System-2 paradigm and highlighting the imperative for environment state updates. Updated model progress and experimental results will be reported in subsequent versions. All source code, curated datasets, as well as the derived models will be disclosed at https://github.com/ADaM-BJTU/O1-CODER .