daVinci-LLM : Vers une science du pré-entraînement
daVinci-LLM:Towards the Science of Pretraining
March 28, 2026
Auteurs: Yiwei Qin, Yixiu Liu, Tiantian Mi, Muhang Xie, Zhen Huang, Weiye Si, Pengrui Lu, Siyuan Feng, Xia Wu, Liming Liu, Ye Luo, Jinlong Hou, Qipeng Guo, Yu Qiao, Pengfei Liu
cs.AI
Résumé
La phase fondamentale de pré-entraînement détermine le plafond de capacité d'un modèle, car l'après-entraînement peine à surpasser les fondations établies durant le pré-entraînement, pourtant celle-ci reste cruellement sous-explorée. Cette situation découle d'un paradoxe structurel : les organisations disposant de ressources computationnelles opèrent sous des pressions commerciales entravant la divulgation transparente, tandis que les institutions académiques bénéficient de liberté de recherche mais manquent de ressources computationnelles à l'échelle du pré-entraînement. daVinci-LLM occupe cette intersection inexplorée, combinant des ressources industrielles avec une liberté de recherche totale pour faire progresser la science du pré-entraînement. Nous adoptons un paradigme entièrement ouvert considérant l'ouverture comme méthodologie scientifique, divulguant les pipelines complets de traitement des données, l'intégralité des processus d'entraînement et les résultats d'exploration systématique. Conscients que le domaine manque de méthodologie systématique pour le traitement des données, nous employons le cadre Data Darwinism, une taxonomie principée L0-L9 allant du filtrage à la synthèse. Nous entraînons un modèle de 3 milliards de paramètres depuis une initialisation aléatoire sur 8 000 milliards de tokens grâce à un curriculum adaptatif en deux étapes passant progressivement des capacités fondamentales à l'amélioration intensive du raisonnement. À travers plus de 200 ablations contrôlées, nous établissons que : la profondeur de traitement améliore systématiquement les capacités, l'érigeant comme une dimension critique aux côtés de la mise à l'échelle volumétrique ; différents domaines exhibent des dynamiques de saturation distinctes, nécessitant des stratégies adaptatives allant du rééquilibrage des proportions aux changements de format ; l'équilibre compositionnel permet une intensification ciblée tout en prévenant l'effondrement des performances ; les choix de protocoles d'évaluation façonnent notre compréhension des progrès en pré-entraînement. En divulguant l'intégralité du processus d'exploration, nous permettons à la communauté de s'appuyer sur nos découvertes et méthodologies systématiques pour constituer une connaissance scientifique cumulative en pré-entraînement.
English
The foundational pretraining phase determines a model's capability ceiling, as post-training struggles to overcome capability foundations established during pretraining, yet it remains critically under-explored. This stems from a structural paradox: organizations with computational resources operate under commercial pressures that inhibit transparent disclosure, while academic institutions possess research freedom but lack pretraining-scale computational resources. daVinci-LLM occupies this unexplored intersection, combining industrial-scale resources with full research freedom to advance the science of pretraining. We adopt a fully-open paradigm that treats openness as scientific methodology, releasing complete data processing pipelines, full training processes, and systematic exploration results. Recognizing that the field lacks systematic methodology for data processing, we employ the Data Darwinism framework, a principled L0-L9 taxonomy from filtering to synthesis. We train a 3B-parameter model from random initialization across 8T tokens using a two-stage adaptive curriculum that progressively shifts from foundational capabilities to reasoning-intensive enhancement. Through 200+ controlled ablations, we establish that: processing depth systematically enhances capabilities, establishing it as a critical dimension alongside volume scaling; different domains exhibit distinct saturation dynamics, necessitating adaptive strategies from proportion adjustments to format shifts; compositional balance enables targeted intensification while preventing performance collapse; how evaluation protocol choices shape our understanding of pretraining progress. By releasing the complete exploration process, we enable the community to build upon our findings and systematic methodologies to form accumulative scientific knowledge in pretraining.