daVinci-LLM: Auf dem Weg zur Wissenschaft des Vorabtrainierens

Zusammenfassung

Die grundlegende Vorabtrainingsphase bestimmt die Fähigkeitsobergrenze eines Modells, da nachgelagerte Trainings kaum in der Lage sind, die während des Vorabtrainings etablierten Fähigkeitsgrundlagen zu überwinden. Dennoch bleibt dieser Bereich kritisch untererforscht. Dies resultiert aus einem strukturellen Paradoxon: Organisationen mit Rechenressourcen operieren unter kommerziellem Druck, der transparente Offenlegung verhindert, während akademische Einrichtungen über Forschungsfreiheit verfügen, aber nicht über rechenintensive Ressourcen für Vorabtraining im großen Maßstab. daVinci-LLM besetzt diese unerforschte Schnittstelle, indem es industrielle Ressourcen mit voller Forschungsfreiheit kombiniert, um die Wissenschaft des Vorabtrainings voranzutreiben. Wir verfolgen ein vollständig offenes Paradigma, das Offenheit als wissenschaftliche Methodik betrachtet, und veröffentlichen komplette Datenverarbeitungspipelines, vollständige Trainingsprozesse und systematische Untersuchungsergebnisse. Da dem Feld eine systematische Methodik für die Datenverarbeitung fehlt, verwenden wir den Data-Darwinism-Framework, eine prinzipielle L0-L9-Taxonomie von der Filterung bis zur Synthese. Wir trainieren ein Modell mit 3 Milliarden Parametern ab zufälliger Initialisierung über 8 Billionen Tokens hinweg unter Verwendung eines zweistufigen adaptiven Lehrplans, der schrittweise von grundlegenden Fähigkeiten zu reasoning-intensiver Verbesserung übergeht. Durch über 200 kontrollierte Ablationen stellen wir fest: Verarbeitungstiefe verbessert Fähigkeiten systematisch und etabliert sie als kritische Dimension neben der Volumenskalierung; verschiedene Domänen zeigen unterschiedliche Sättigungsdynamiken, was adaptive Strategien von Proportionalanpassungen bis zu Formatwechseln erfordert; kompositionelle Balance ermöglicht gezielte Intensivierung und verhindert Leistungseinbrüche; wie die Wahl des Evaluierungsprotokolls unser Verständnis des Vorabtrainingsfortschritts prägt. Durch die Veröffentlichung des vollständigen Untersuchungsprozesses ermöglichen wir der Community, auf unseren Ergebnissen und systematischen Methodiken aufzubauen, um akkumulatives wissenschaftliches Wissen im Vorabtraining zu bilden.

English

The foundational pretraining phase determines a model's capability ceiling, as post-training struggles to overcome capability foundations established during pretraining, yet it remains critically under-explored. This stems from a structural paradox: organizations with computational resources operate under commercial pressures that inhibit transparent disclosure, while academic institutions possess research freedom but lack pretraining-scale computational resources. daVinci-LLM occupies this unexplored intersection, combining industrial-scale resources with full research freedom to advance the science of pretraining. We adopt a fully-open paradigm that treats openness as scientific methodology, releasing complete data processing pipelines, full training processes, and systematic exploration results. Recognizing that the field lacks systematic methodology for data processing, we employ the Data Darwinism framework, a principled L0-L9 taxonomy from filtering to synthesis. We train a 3B-parameter model from random initialization across 8T tokens using a two-stage adaptive curriculum that progressively shifts from foundational capabilities to reasoning-intensive enhancement. Through 200+ controlled ablations, we establish that: processing depth systematically enhances capabilities, establishing it as a critical dimension alongside volume scaling; different domains exhibit distinct saturation dynamics, necessitating adaptive strategies from proportion adjustments to format shifts; compositional balance enables targeted intensification while preventing performance collapse; how evaluation protocol choices shape our understanding of pretraining progress. By releasing the complete exploration process, we enable the community to build upon our findings and systematic methodologies to form accumulative scientific knowledge in pretraining.

daVinci-LLM: Auf dem Weg zur Wissenschaft des Vorabtrainierens

daVinci-LLM:Towards the Science of Pretraining

Zusammenfassung

Support