DeepSeek-Coder: Quando o Modelo de Linguagem de Grande Escala Encontra a Programação — A Ascensão da Inteligência de Código

DeepSeek-Coder: When the Large Language Model Meets Programming -- The Rise of Code Intelligence

January 25, 2024

Autores: Daya Guo, Qihao Zhu, Dejian Yang, Zhenda Xie, Kai Dong, Wentao Zhang, Guanting Chen, Xiao Bi, Y. Wu, Y. K. Li, Fuli Luo, Yingfei Xiong, Wenfeng Liang

cs.AI

Resumo

O rápido desenvolvimento de grandes modelos de linguagem revolucionou a inteligência de código no desenvolvimento de software. No entanto, a predominância de modelos de código fechado tem restringido pesquisas e desenvolvimentos extensivos. Para abordar isso, apresentamos a série DeepSeek-Coder, uma gama de modelos de código de código aberto com tamanhos variando de 1,3B a 33B, treinados do zero com 2 trilhões de tokens. Esses modelos são pré-treinados em um corpus de código de alta qualidade em nível de projeto e empregam uma tarefa de preenchimento de lacunas com uma janela de 16K para aprimorar a geração e o preenchimento de código. Nossas extensivas avaliações demonstram que o DeepSeek-Coder não apenas alcança desempenho de ponta entre os modelos de código de código aberto em vários benchmarks, mas também supera modelos de código fechado existentes, como Codex e GPT-3.5. Além disso, os modelos DeepSeek-Coder estão sob uma licença permissiva que permite tanto pesquisa quanto uso comercial irrestrito.

English

The rapid development of large language models has revolutionized code intelligence in software development. However, the predominance of closed-source models has restricted extensive research and development. To address this, we introduce the DeepSeek-Coder series, a range of open-source code models with sizes from 1.3B to 33B, trained from scratch on 2 trillion tokens. These models are pre-trained on a high-quality project-level code corpus and employ a fill-in-the-blank task with a 16K window to enhance code generation and infilling. Our extensive evaluations demonstrate that DeepSeek-Coder not only achieves state-of-the-art performance among open-source code models across multiple benchmarks but also surpasses existing closed-source models like Codex and GPT-3.5. Furthermore, DeepSeek-Coder models are under a permissive license that allows for both research and unrestricted commercial use.