StarCoder 2 y The Stack v2: La Próxima Generación

StarCoder 2 and The Stack v2: The Next Generation

February 29, 2024

Autores: Anton Lozhkov, Raymond Li, Loubna Ben Allal, Federico Cassano, Joel Lamy-Poirier, Nouamane Tazi, Ao Tang, Dmytro Pykhtar, Jiawei Liu, Yuxiang Wei, Tianyang Liu, Max Tian, Denis Kocetkov, Arthur Zucker, Younes Belkada, Zijian Wang, Qian Liu, Dmitry Abulkhanov, Indraneil Paul, Zhuang Li, Wen-Ding Li, Megan Risdal, Jia Li, Jian Zhu, Terry Yue Zhuo, Evgenii Zheltonozhskii, Nii Osae Osae Dade, Wenhao Yu, Lucas Krauß, Naman Jain, Yixuan Su, Xuanli He, Manan Dey, Edoardo Abati, Yekun Chai, Niklas Muennighoff, Xiangru Tang, Muhtasham Oblokulov, Christopher Akiki, Marc Marone, Chenghao Mou, Mayank Mishra, Alex Gu, Binyuan Hui, Tri Dao, Armel Zebaze, Olivier Dehaene, Nicolas Patry, Canwen Xu, Julian McAuley, Han Hu, Torsten Scholak, Sebastien Paquet, Jennifer Robinson, Carolyn Jane Anderson, Nicolas Chapados, Mostofa Patwary, Nima Tajbakhsh, Yacine Jernite, Carlos Muñoz Ferrandis, Lingming Zhang, Sean Hughes, Thomas Wolf, Arjun Guha, Leandro von Werra, Harm de Vries

cs.AI

Resumen

El proyecto BigCode, una colaboración científico-abierta centrada en el desarrollo responsable de Modelos de Lenguaje a Gran Escala para Código (Code LLMs), presenta StarCoder2. En colaboración con Software Heritage (SWH), construimos The Stack v2 sobre los bienes comunes digitales de su archivo de código fuente. Junto con los repositorios de SWH que abarcan 619 lenguajes de programación, seleccionamos cuidadosamente otras fuentes de datos de alta calidad, como solicitudes de extracción (pull requests) de GitHub, cuadernos de Kaggle y documentación de código. Esto resulta en un conjunto de entrenamiento 4 veces más grande que el primer conjunto de datos de StarCoder. Entrenamos los modelos StarCoder2 con 3B, 7B y 15B parámetros en 3.3 a 4.3 billones de tokens y los evaluamos exhaustivamente en un conjunto completo de benchmarks para Code LLMs. Descubrimos que nuestro modelo pequeño, StarCoder2-3B, supera a otros Code LLMs de tamaño similar en la mayoría de los benchmarks, y también supera a StarCoderBase-15B. Nuestro modelo grande, StarCoder2-15B, supera significativamente a otros modelos de tamaño comparable. Además, iguala o supera a CodeLlama-34B, un modelo más del doble de su tamaño. Aunque DeepSeekCoder-33B es el modelo con mejor rendimiento en la completación de código para lenguajes de alto recurso, encontramos que StarCoder2-15B lo supera en benchmarks de razonamiento matemático y de código, así como en varios lenguajes de bajo recurso. Hacemos disponibles los pesos del modelo bajo una licencia OpenRAIL y garantizamos la total transparencia respecto a los datos de entrenamiento mediante la publicación de los Identificadores Persistentes de Software Heritage (SWHIDs) de los datos de código fuente.

English

The BigCode project, an open-scientific collaboration focused on the responsible development of Large Language Models for Code (Code LLMs), introduces StarCoder2. In partnership with Software Heritage (SWH), we build The Stack v2 on top of the digital commons of their source code archive. Alongside the SWH repositories spanning 619 programming languages, we carefully select other high-quality data sources, such as GitHub pull requests, Kaggle notebooks, and code documentation. This results in a training set that is 4x larger than the first StarCoder dataset. We train StarCoder2 models with 3B, 7B, and 15B parameters on 3.3 to 4.3 trillion tokens and thoroughly evaluate them on a comprehensive set of Code LLM benchmarks. We find that our small model, StarCoder2-3B, outperforms other Code LLMs of similar size on most benchmarks, and also outperforms StarCoderBase-15B. Our large model, StarCoder2- 15B, significantly outperforms other models of comparable size. In addition, it matches or outperforms CodeLlama-34B, a model more than twice its size. Although DeepSeekCoder- 33B is the best-performing model at code completion for high-resource languages, we find that StarCoder2-15B outperforms it on math and code reasoning benchmarks, as well as several low-resource languages. We make the model weights available under an OpenRAIL license and ensure full transparency regarding the training data by releasing the SoftWare Heritage persistent IDentifiers (SWHIDs) of the source code data.