MixtureVitae: Dataset Open su Scala Web per Pretraining con Dati di Alta Qualità per Istruzioni e Ragionamento Costruiti da Fonti Testuali a Priorità Permissiva

Abstract

Presentiamo MixtureVitae, un corpus di pre-addestramento ad accesso aperto progettato per minimizzare i rischi legali garantendo al contempo prestazioni solide dei modelli. MixtureVitae segue una strategia di approvvigionamento mitigata dal rischio, che combina testi di dominio pubblico e con licenze permissive (ad esempio, CC-BY/Apache) con aggiunte a basso rischio accuratamente giustificate (ad esempio, opere governative e fonti idonee al Text and Data Mining dell'UE), insieme a dati sintetici, di istruzione e di ragionamento mirati con provenienza documentata. Descriviamo una pipeline trasparente e multi-fase per il filtraggio basato sulle licenze, il controllo di sicurezza e qualità, e la miscelazione consapevole del dominio, e rilasciamo il dataset e le ricette di curatela per supportare la ricerca riproducibile. In esperimenti controllati utilizzando il protocollo di addestramento open-sci-ref (architetture fisse con 130M/400M/1.3B/1.7B parametri; budget di addestramento di 50B e 300B token), i modelli addestrati su MixtureVitae superano costantemente altri dataset permissivi su una serie di benchmark standard, e nella configurazione 1.7B/300B superano FineWeb-Edu e si avvicinano a DCLM nelle fasi avanzate dell'addestramento. Le prestazioni sono particolarmente solide in matematica/codice e competitive nei compiti di QA. Questi risultati dimostrano che dati permissivi e mitigati dal rischio forniscono una base pratica e legalmente sicura per addestrare LLM capaci, riducendo la dipendenza dal web scraping indiscriminato senza sacrificare la competitività. Codice: https://github.com/ontocord/mixturevitae

English

We present MixtureVitae, an open-access pretraining corpus built to minimize legal risk while providing strong model performance. MixtureVitae follows a risk-mitigated sourcing strategy that combines public-domain and permissively licensed text (e.g., CC-BY/Apache) with carefully justified low-risk additions (e.g., government works and EU TDM-eligible sources), alongside targeted instruction, reasoning and synthetic data with documented provenance. We detail a transparent, multi-stage pipeline for license-aware filtering, safety and quality screening, and domain-aware mixing, and we release the dataset and curation recipes to support reproducible research. In controlled experiments using the open-sci-ref training protocol (fixed architectures at 130M/400M/1.3B/1.7B parameters; training budgets of 50B and 300B tokens), models trained on MixtureVitae consistently outperform other permissive datasets across a suite of standard benchmarks, and at the 1.7B/300B setting they surpass FineWeb-Edu and approach DCLM in the later stages of training. Performance is particularly strong on math/code and competitive on QA tasks. These results demonstrate that permissive-first, risk-mitigated data provides a practical and legally mitigated foundation for training capable LLMs, reducing reliance on indiscriminate web scraping without sacrificing competitiveness. Code: https://github.com/ontocord/mixturevitae

MixtureVitae: Dataset Open su Scala Web per Pretraining con Dati di Alta Qualità per Istruzioni e Ragionamento Costruiti da Fonti Testuali a Priorità Permissiva

MixtureVitae: Open Web-Scale Pretraining Dataset With High Quality Instruction and Reasoning Data Built from Permissive-First Text Sources

Abstract

Support