StarCoder 2와 The Stack v2: 차세대 기술

StarCoder 2 and The Stack v2: The Next Generation

February 29, 2024

저자: Anton Lozhkov, Raymond Li, Loubna Ben Allal, Federico Cassano, Joel Lamy-Poirier, Nouamane Tazi, Ao Tang, Dmytro Pykhtar, Jiawei Liu, Yuxiang Wei, Tianyang Liu, Max Tian, Denis Kocetkov, Arthur Zucker, Younes Belkada, Zijian Wang, Qian Liu, Dmitry Abulkhanov, Indraneil Paul, Zhuang Li, Wen-Ding Li, Megan Risdal, Jia Li, Jian Zhu, Terry Yue Zhuo, Evgenii Zheltonozhskii, Nii Osae Osae Dade, Wenhao Yu, Lucas Krauß, Naman Jain, Yixuan Su, Xuanli He, Manan Dey, Edoardo Abati, Yekun Chai, Niklas Muennighoff, Xiangru Tang, Muhtasham Oblokulov, Christopher Akiki, Marc Marone, Chenghao Mou, Mayank Mishra, Alex Gu, Binyuan Hui, Tri Dao, Armel Zebaze, Olivier Dehaene, Nicolas Patry, Canwen Xu, Julian McAuley, Han Hu, Torsten Scholak, Sebastien Paquet, Jennifer Robinson, Carolyn Jane Anderson, Nicolas Chapados, Mostofa Patwary, Nima Tajbakhsh, Yacine Jernite, Carlos Muñoz Ferrandis, Lingming Zhang, Sean Hughes, Thomas Wolf, Arjun Guha, Leandro von Werra, Harm de Vries

cs.AI

초록

BigCode 프로젝트는 코드용 대규모 언어 모델(Code LLM)의 책임 있는 개발에 초점을 맞춘 오픈 과학적 협력 프로젝트로, StarCoder2를 소개합니다. Software Heritage(SWH)와의 협력을 통해, 우리는 그들의 소스 코드 아카이브 디지털 커먼스 위에 The Stack v2를 구축했습니다. 619개 프로그래밍 언어를 아우르는 SWH 저장소와 함께, GitHub 풀 리퀘스트, Kaggle 노트북, 코드 문서 등 다른 고품질 데이터 소스를 신중하게 선별했습니다. 이를 통해 첫 번째 StarCoder 데이터셋보다 4배 더 큰 훈련 데이터셋을 구성했습니다. 우리는 3B, 7B, 15B 파라미터 규모의 StarCoder2 모델을 3.3조에서 4.3조 토큰으로 훈련시키고, 포괄적인 Code LLM 벤치마크 세트를 통해 철저히 평가했습니다. 그 결과, 우리의 소형 모델인 StarCoder2-3B는 대부분의 벤치마크에서 유사한 규모의 다른 Code LLM을 능가했으며, StarCoderBase-15B보다도 더 나은 성능을 보였습니다. 대형 모델인 StarCoder2-15B는 비슷한 규모의 다른 모델들을 크게 앞섰으며, 자신의 두 배 이상인 CodeLlama-34B와도 동등하거나 더 나은 성능을 보였습니다. 비록 DeepSeekCoder-33B가 고자원 언어에서의 코드 완성 작업에서 최고 성능을 보였지만, StarCoder2-15B는 수학 및 코드 추론 벤치마크와 여러 저자원 언어에서 이를 능가했습니다. 우리는 모델 가중치를 OpenRAIL 라이선스 하에 공개하고, 소스 코드 데이터의 Software Heritage 영구 식별자(SWHID)를 공개함으로써 훈련 데이터에 대한 완전한 투명성을 보장합니다.

English

The BigCode project, an open-scientific collaboration focused on the responsible development of Large Language Models for Code (Code LLMs), introduces StarCoder2. In partnership with Software Heritage (SWH), we build The Stack v2 on top of the digital commons of their source code archive. Alongside the SWH repositories spanning 619 programming languages, we carefully select other high-quality data sources, such as GitHub pull requests, Kaggle notebooks, and code documentation. This results in a training set that is 4x larger than the first StarCoder dataset. We train StarCoder2 models with 3B, 7B, and 15B parameters on 3.3 to 4.3 trillion tokens and thoroughly evaluate them on a comprehensive set of Code LLM benchmarks. We find that our small model, StarCoder2-3B, outperforms other Code LLMs of similar size on most benchmarks, and also outperforms StarCoderBase-15B. Our large model, StarCoder2- 15B, significantly outperforms other models of comparable size. In addition, it matches or outperforms CodeLlama-34B, a model more than twice its size. Although DeepSeekCoder- 33B is the best-performing model at code completion for high-resource languages, we find that StarCoder2-15B outperforms it on math and code reasoning benchmarks, as well as several low-resource languages. We make the model weights available under an OpenRAIL license and ensure full transparency regarding the training data by releasing the SoftWare Heritage persistent IDentifiers (SWHIDs) of the source code data.