DeepSeek-Coder: Wenn das große Sprachmodell auf Programmierung trifft – Der Aufstieg der Code-Intelligenz

DeepSeek-Coder: When the Large Language Model Meets Programming -- The Rise of Code Intelligence

January 25, 2024

Autoren: Daya Guo, Qihao Zhu, Dejian Yang, Zhenda Xie, Kai Dong, Wentao Zhang, Guanting Chen, Xiao Bi, Y. Wu, Y. K. Li, Fuli Luo, Yingfei Xiong, Wenfeng Liang

cs.AI

Zusammenfassung

Die rasante Entwicklung großer Sprachmodelle hat die Code-Intelligenz in der Softwareentwicklung revolutioniert. Die Dominanz geschlossener Quellmodelle hat jedoch umfangreiche Forschung und Entwicklung eingeschränkt. Um dies zu adressieren, stellen wir die DeepSeek-Coder-Serie vor, eine Reihe von Open-Source-Code-Modellen mit Größen von 1,3B bis 33B, die von Grund auf mit 2 Billionen Tokens trainiert wurden. Diese Modelle sind auf einem hochwertigen projektbasierten Code-Korpus vortrainiert und verwenden eine Fill-in-the-Blank-Aufgabe mit einem 16K-Fenster, um die Code-Generierung und -Ergänzung zu verbessern. Unsere umfangreichen Evaluierungen zeigen, dass DeepSeek-Coder nicht nur state-of-the-art Leistung unter Open-Source-Code-Modellen in mehreren Benchmarks erreicht, sondern auch bestehende geschlossene Quellmodelle wie Codex und GPT-3.5 übertrifft. Darüber hinaus stehen die DeepSeek-Coder-Modelle unter einer freizügigen Lizenz, die sowohl Forschung als auch uneingeschränkte kommerzielle Nutzung ermöglicht.

English

The rapid development of large language models has revolutionized code intelligence in software development. However, the predominance of closed-source models has restricted extensive research and development. To address this, we introduce the DeepSeek-Coder series, a range of open-source code models with sizes from 1.3B to 33B, trained from scratch on 2 trillion tokens. These models are pre-trained on a high-quality project-level code corpus and employ a fill-in-the-blank task with a 16K window to enhance code generation and infilling. Our extensive evaluations demonstrate that DeepSeek-Coder not only achieves state-of-the-art performance among open-source code models across multiple benchmarks but also surpasses existing closed-source models like Codex and GPT-3.5. Furthermore, DeepSeek-Coder models are under a permissive license that allows for both research and unrestricted commercial use.