MixtureVitae: Open Web-Schaal Pretrainingsdataset met Hoogwaardige Instructie- en Redeneergegevens Gebouwd vanuit Toestemmingsgerichte Tekstbronnen

Samenvatting

We presenteren MixtureVitae, een open-access pretrainingscorpus dat is ontwikkeld om juridische risico's te minimaliseren terwijl het sterke modelprestaties biedt. MixtureVitae volgt een risicogemodereerde bronstrategie die tekst uit het publieke domein en permissief gelicentieerde tekst (bijv. CC-BY/Apache) combineert met zorgvuldig gerechtvaardigde toevoegingen met een laag risico (bijv. overheidsdocumenten en EU TDM-in aanmerking komende bronnen), naast gerichte instructie, redenering en synthetische data met gedocumenteerde herkomst. We beschrijven een transparante, meerfasige pijplijn voor licentiebewuste filtering, veiligheids- en kwaliteitscontrole, en domeinbewuste mixen, en we publiceren de dataset en curatierecepten om reproduceerbaar onderzoek te ondersteunen. In gecontroleerde experimenten met het open-sci-ref trainingsprotocol (vaste architecturen met 130M/400M/1.3B/1.7B parameters; trainingsbudgetten van 50B en 300B tokens), presteren modellen getraind op MixtureVitae consistent beter dan andere permissieve datasets op een reeks standaardbenchmarks, en bij de 1.7B/300B instelling overtreffen ze FineWeb-Edu en benaderen ze DCLM in de latere fasen van de training. De prestaties zijn vooral sterk op wiskunde/code en competitief op QA-taken. Deze resultaten tonen aan dat permissief-eerst, risicogemodereerde data een praktische en juridisch gemodereerde basis biedt voor het trainen van capabele LLM's, waardoor de afhankelijkheid van ongerichte webscraping wordt verminderd zonder in te leveren op competitiviteit. Code: https://github.com/ontocord/mixturevitae

English

We present MixtureVitae, an open-access pretraining corpus built to minimize legal risk while providing strong model performance. MixtureVitae follows a risk-mitigated sourcing strategy that combines public-domain and permissively licensed text (e.g., CC-BY/Apache) with carefully justified low-risk additions (e.g., government works and EU TDM-eligible sources), alongside targeted instruction, reasoning and synthetic data with documented provenance. We detail a transparent, multi-stage pipeline for license-aware filtering, safety and quality screening, and domain-aware mixing, and we release the dataset and curation recipes to support reproducible research. In controlled experiments using the open-sci-ref training protocol (fixed architectures at 130M/400M/1.3B/1.7B parameters; training budgets of 50B and 300B tokens), models trained on MixtureVitae consistently outperform other permissive datasets across a suite of standard benchmarks, and at the 1.7B/300B setting they surpass FineWeb-Edu and approach DCLM in the later stages of training. Performance is particularly strong on math/code and competitive on QA tasks. These results demonstrate that permissive-first, risk-mitigated data provides a practical and legally mitigated foundation for training capable LLMs, reducing reliance on indiscriminate web scraping without sacrificing competitiveness. Code: https://github.com/ontocord/mixturevitae

MixtureVitae: Open Web-Schaal Pretrainingsdataset met Hoogwaardige Instructie- en Redeneergegevens Gebouwd vanuit Toestemmingsgerichte Tekstbronnen

MixtureVitae: Open Web-Scale Pretraining Dataset With High Quality Instruction and Reasoning Data Built from Permissive-First Text Sources

Samenvatting

Support