o1-Coder: uma Replicação o1 para Codificação

o1-Coder: an o1 Replication for Coding

November 29, 2024

Autores: Yuxiang Zhang, Shangxi Wu, Yuqi Yang, Jiangming Shu, Jinlin Xiao, Chao Kong, Jitao Sang

cs.AI

Resumo

O relatório técnico apresenta o O1-CODER, uma tentativa de replicar o modelo o1 da OpenAI com foco em tarefas de codificação. Ele integra aprendizado por reforço (RL) e Busca em Árvore de Monte Carlo (MCTS) para aprimorar as capacidades de pensamento do Sistema-2 do modelo. O framework inclui o treinamento de um Gerador de Casos de Teste (TCG) para testes de código padronizados, utilizando MCTS para gerar dados de código com processos de raciocínio, e ajustando iterativamente o modelo de política para inicialmente produzir pseudocódigo, seguido pela geração do código completo. O relatório também aborda as oportunidades e desafios na implantação de modelos semelhantes ao o1 em aplicações do mundo real, sugerindo a transição para o paradigma do Sistema-2 e destacando a necessidade imperativa de atualizações no estado do ambiente. O progresso do modelo atualizado e os resultados experimentais serão relatados em versões subsequentes. Todo o código-fonte, conjuntos de dados curados, bem como os modelos derivados serão divulgados em https://github.com/ADaM-BJTU/O1-CODER.

English

The technical report introduces O1-CODER, an attempt to replicate OpenAI's o1 model with a focus on coding tasks. It integrates reinforcement learning (RL) and Monte Carlo Tree Search (MCTS) to enhance the model's System-2 thinking capabilities. The framework includes training a Test Case Generator (TCG) for standardized code testing, using MCTS to generate code data with reasoning processes, and iteratively fine-tuning the policy model to initially produce pseudocode, followed by the generation of the full code. The report also addresses the opportunities and challenges in deploying o1-like models in real-world applications, suggesting transitioning to the System-2 paradigm and highlighting the imperative for environment state updates. Updated model progress and experimental results will be reported in subsequent versions. All source code, curated datasets, as well as the derived models will be disclosed at https://github.com/ADaM-BJTU/O1-CODER .