Le Tas : un ensemble de données de code multilingue sans contamination pour évaluer les grands modèles de langage.

The Heap: A Contamination-Free Multilingual Code Dataset for Evaluating Large Language Models

January 16, 2025

Auteurs: Jonathan Katzy, Razvan Mihai Popescu, Arie van Deursen, Maliheh Izadi

cs.AI

Résumé

La récente montée en popularité des grands modèles de langage a stimulé le développement de vastes ensembles de données de code nécessaires pour les entraîner. Cela a laissé peu de code disponible pour la collecte et l'utilisation dans l'investigation ultérieure de comportements spécifiques, ou l'évaluation de grands modèles de langage sans souffrir de la contamination des données. Pour résoudre ce problème, nous publions The Heap, un vaste ensemble de données multilingue couvrant 57 langages de programmation qui a été dédupliqué par rapport à d'autres ensembles de données ouverts de code, permettant aux chercheurs de mener des évaluations équitables de grands modèles de langage sans un nettoyage important des données.

English

The recent rise in the popularity of large language models has spurred the development of extensive code datasets needed to train them. This has left limited code available for collection and use in the downstream investigation of specific behaviors, or evaluation of large language models without suffering from data contamination. To address this problem, we release The Heap, a large multilingual dataset covering 57 programming languages that has been deduplicated with respect to other open datasets of code, enabling researchers to conduct fair evaluations of large language models without significant data cleaning overhead.