MixtureVitae : Ensemble de données de pré-entraînement à grande échelle et ouvert, comprenant des instructions de haute qualité et des données de raisonnement, construit à partir de sources textuelles prioritaires permissives.

papers.abstract

Nous présentons MixtureVitae, un corpus de pré-entraînement en libre accès conçu pour minimiser les risques juridiques tout en offrant de solides performances de modèles. MixtureVitae suit une stratégie d’approvisionnement atténuée en risques, combinant des textes du domaine public et sous licence permissive (par exemple, CC-BY/Apache) avec des ajouts à faible risque soigneusement justifiés (par exemple, des travaux gouvernementaux et des sources éligibles au TDM de l’UE), ainsi que des instructions ciblées, des raisonnements et des données synthétiques avec une provenance documentée. Nous détaillons un pipeline transparent et multi-étapes pour le filtrage basé sur les licences, le contrôle de la sécurité et de la qualité, et le mélange adapté aux domaines, et nous publions le jeu de données ainsi que les recettes de curation pour soutenir la recherche reproductible. Dans des expériences contrôlées utilisant le protocole d’entraînement open-sci-ref (architectures fixes à 130M/400M/1,3B/1,7B de paramètres ; budgets d’entraînement de 50B et 300B de tokens), les modèles entraînés sur MixtureVitae surpassent systématiquement d’autres jeux de données permissifs sur une série de benchmarks standards, et dans le cadre 1,7B/300B, ils dépassent FineWeb-Edu et approchent DCLM dans les phases avancées de l’entraînement. Les performances sont particulièrement solides en mathématiques/code et compétitives sur les tâches de questions-réponses. Ces résultats démontrent que des données principalement permissives et atténuées en risques offrent une base pratique et juridiquement sécurisée pour entraîner des LLM performants, réduisant la dépendance au scraping web indiscriminé sans sacrifier la compétitivité. Code : https://github.com/ontocord/mixturevitae

English

We present MixtureVitae, an open-access pretraining corpus built to minimize legal risk while providing strong model performance. MixtureVitae follows a risk-mitigated sourcing strategy that combines public-domain and permissively licensed text (e.g., CC-BY/Apache) with carefully justified low-risk additions (e.g., government works and EU TDM-eligible sources), alongside targeted instruction, reasoning and synthetic data with documented provenance. We detail a transparent, multi-stage pipeline for license-aware filtering, safety and quality screening, and domain-aware mixing, and we release the dataset and curation recipes to support reproducible research. In controlled experiments using the open-sci-ref training protocol (fixed architectures at 130M/400M/1.3B/1.7B parameters; training budgets of 50B and 300B tokens), models trained on MixtureVitae consistently outperform other permissive datasets across a suite of standard benchmarks, and at the 1.7B/300B setting they surpass FineWeb-Edu and approach DCLM in the later stages of training. Performance is particularly strong on math/code and competitive on QA tasks. These results demonstrate that permissive-first, risk-mitigated data provides a practical and legally mitigated foundation for training capable LLMs, reducing reliance on indiscriminate web scraping without sacrificing competitiveness. Code: https://github.com/ontocord/mixturevitae

MixtureVitae : Ensemble de données de pré-entraînement à grande échelle et ouvert, comprenant des instructions de haute qualité et des données de raisonnement, construit à partir de sources textuelles prioritaires permissives.

MixtureVitae: Open Web-Scale Pretraining Dataset With High Quality Instruction and Reasoning Data Built from Permissive-First Text Sources

papers.abstract

Support