daVinci-LLM: Op weg naar de wetenschap van vooraf trainen
daVinci-LLM:Towards the Science of Pretraining
March 28, 2026
Auteurs: Yiwei Qin, Yixiu Liu, Tiantian Mi, Muhang Xie, Zhen Huang, Weiye Si, Pengrui Lu, Siyuan Feng, Xia Wu, Liming Liu, Ye Luo, Jinlong Hou, Qipeng Guo, Yu Qiao, Pengfei Liu
cs.AI
Samenvatting
De fundamentele pretrainingsfase bepaalt het plafond van de capaciteiten van een model, aangezien training-na-pretraining moeite heeft om de capaciteitsfundamenten te overwinnen die tijdens de pretraining zijn gelegd. Toch blijft deze fase cruciaal onderbelicht. Dit komt voort uit een structurele paradox: organisaties met rekenkracht opereren onder commerciële druk die transparante openbaarmaking belemmert, terwijl academische instellingen onderzoeksvrijheid hebben maar niet over rekenmiddelen op pretrainingsschaal beschikken. DaVinci-LLM bevindt zich op dit onontgonnen snijvlak, door industriële schaalgrootte te combineren met volledige onderzoeksvrijheid om de wetenschap van pretraining vooruit te helpen. Wij hanteren een volledig open paradigma dat openheid als wetenschappelijke methodologie beschouwt, waarbij we complete datapijplijnen, volledige trainingsprocessen en systematische onderzoeksresultaten vrijgeven. Omdat we erkennen dat het veld een systematische methodologie voor dataverwerking mist, gebruiken we het Data Darwinism-raamwerk, een principiële L0-L9-taxonomie van filtering tot synthese. We trainen een model met 3B parameters vanaf willekeurige initialisatie over 8T tokens met behulp van een tweefasen adaptief curriculum dat geleidelijk verschuift van fundamentele capaciteiten naar reasoning-intensieve verbetering. Door middel van meer dan 200 gecontroleerde ablatiestudies stellen we vast dat: verwerkingsdiepte capaciteiten systematisch verbetert, wat het een kritieke dimensie naast volumeschaling maakt; verschillende domeinen distincte verzadigingsdynamieken vertonen, wat adaptieve strategieën vereist, van proportie-aanpassingen tot formatverschuivingen; compositioneel evenwicht gerichte intensivering mogelijk maakt terwijl prestatiecollaps wordt voorkomen; en hoe keuzes in evaluatieprotocollen ons begrip van pretrainingsvooruitgang vormen. Door het volledige onderzoeksproces vrij te geven, stellen we de gemeenschap in staat voort te bouwen op onze bevindingen en systematische methodologieën om cumulatieve wetenschappelijke kennis over pretraining te vormen.
English
The foundational pretraining phase determines a model's capability ceiling, as post-training struggles to overcome capability foundations established during pretraining, yet it remains critically under-explored. This stems from a structural paradox: organizations with computational resources operate under commercial pressures that inhibit transparent disclosure, while academic institutions possess research freedom but lack pretraining-scale computational resources. daVinci-LLM occupies this unexplored intersection, combining industrial-scale resources with full research freedom to advance the science of pretraining. We adopt a fully-open paradigm that treats openness as scientific methodology, releasing complete data processing pipelines, full training processes, and systematic exploration results. Recognizing that the field lacks systematic methodology for data processing, we employ the Data Darwinism framework, a principled L0-L9 taxonomy from filtering to synthesis. We train a 3B-parameter model from random initialization across 8T tokens using a two-stage adaptive curriculum that progressively shifts from foundational capabilities to reasoning-intensive enhancement. Through 200+ controlled ablations, we establish that: processing depth systematically enhances capabilities, establishing it as a critical dimension alongside volume scaling; different domains exhibit distinct saturation dynamics, necessitating adaptive strategies from proportion adjustments to format shifts; compositional balance enables targeted intensification while preventing performance collapse; how evaluation protocol choices shape our understanding of pretraining progress. By releasing the complete exploration process, we enable the community to build upon our findings and systematic methodologies to form accumulative scientific knowledge in pretraining.