DeepSeek-Coder: Cuando el Modelo de Lenguaje de Gran Escala se Encuentra con la Programación — El Ascenso de la Inteligencia en Código

DeepSeek-Coder: When the Large Language Model Meets Programming -- The Rise of Code Intelligence

January 25, 2024

Autores: Daya Guo, Qihao Zhu, Dejian Yang, Zhenda Xie, Kai Dong, Wentao Zhang, Guanting Chen, Xiao Bi, Y. Wu, Y. K. Li, Fuli Luo, Yingfei Xiong, Wenfeng Liang

cs.AI

Resumen

El rápido desarrollo de los modelos de lenguaje de gran escala ha revolucionado la inteligencia de código en el desarrollo de software. Sin embargo, el predominio de modelos de código cerrado ha limitado la investigación y el desarrollo extensivo. Para abordar esto, presentamos la serie DeepSeek-Coder, una gama de modelos de código de código abierto con tamaños que van desde 1.3B hasta 33B, entrenados desde cero con 2 billones de tokens. Estos modelos están preentrenados en un corpus de código de alta calidad a nivel de proyecto y emplean una tarea de rellenar espacios en blanco con una ventana de 16K para mejorar la generación y el relleno de código. Nuestras evaluaciones exhaustivas demuestran que DeepSeek-Coder no solo alcanza un rendimiento de vanguardia entre los modelos de código abierto en múltiples benchmarks, sino que también supera a modelos de código cerrado existentes como Codex y GPT-3.5. Además, los modelos DeepSeek-Coder están bajo una licencia permisiva que permite tanto la investigación como el uso comercial sin restricciones.

English

The rapid development of large language models has revolutionized code intelligence in software development. However, the predominance of closed-source models has restricted extensive research and development. To address this, we introduce the DeepSeek-Coder series, a range of open-source code models with sizes from 1.3B to 33B, trained from scratch on 2 trillion tokens. These models are pre-trained on a high-quality project-level code corpus and employ a fill-in-the-blank task with a 16K window to enhance code generation and infilling. Our extensive evaluations demonstrate that DeepSeek-Coder not only achieves state-of-the-art performance among open-source code models across multiple benchmarks but also surpasses existing closed-source models like Codex and GPT-3.5. Furthermore, DeepSeek-Coder models are under a permissive license that allows for both research and unrestricted commercial use.