DeepSeek-Coder : Quand le modèle de langage massif rencontre la programmation — L'essor de l'intelligence du code

DeepSeek-Coder: When the Large Language Model Meets Programming -- The Rise of Code Intelligence

January 25, 2024

Auteurs: Daya Guo, Qihao Zhu, Dejian Yang, Zhenda Xie, Kai Dong, Wentao Zhang, Guanting Chen, Xiao Bi, Y. Wu, Y. K. Li, Fuli Luo, Yingfei Xiong, Wenfeng Liang

cs.AI

Résumé

Le développement rapide des grands modèles de langage a révolutionné l'intelligence du code dans le développement logiciel. Cependant, la prédominance des modèles propriétaires a limité les recherches et développements approfondis. Pour remédier à cela, nous présentons la série DeepSeek-Coder, une gamme de modèles de code open-source dont les tailles varient de 1,3 milliard à 33 milliards de paramètres, entraînés à partir de zéro sur 2 000 milliards de tokens. Ces modèles sont pré-entraînés sur un corpus de code de haute qualité au niveau projet et utilisent une tâche de remplissage de texte avec une fenêtre de 16 000 tokens pour améliorer la génération et le remplissage de code. Nos évaluations approfondies démontrent que DeepSeek-Coder non seulement atteint des performances de pointe parmi les modèles de code open-source sur plusieurs benchmarks, mais surpasse également les modèles propriétaires existants comme Codex et GPT-3.5. De plus, les modèles DeepSeek-Coder sont sous une licence permissive permettant à la fois la recherche et une utilisation commerciale sans restriction.

English

The rapid development of large language models has revolutionized code intelligence in software development. However, the predominance of closed-source models has restricted extensive research and development. To address this, we introduce the DeepSeek-Coder series, a range of open-source code models with sizes from 1.3B to 33B, trained from scratch on 2 trillion tokens. These models are pre-trained on a high-quality project-level code corpus and employ a fill-in-the-blank task with a 16K window to enhance code generation and infilling. Our extensive evaluations demonstrate that DeepSeek-Coder not only achieves state-of-the-art performance among open-source code models across multiple benchmarks but also surpasses existing closed-source models like Codex and GPT-3.5. Furthermore, DeepSeek-Coder models are under a permissive license that allows for both research and unrestricted commercial use.