daVinci-LLM: На пути к науке о предварительном обучении

daVinci-LLM:Towards the Science of Pretraining

March 28, 2026

Авторы: Yiwei Qin, Yixiu Liu, Tiantian Mi, Muhang Xie, Zhen Huang, Weiye Si, Pengrui Lu, Siyuan Feng, Xia Wu, Liming Liu, Ye Luo, Jinlong Hou, Qipeng Guo, Yu Qiao, Pengfei Liu

cs.AI

Аннотация

Фундаментальная фаза предварительного обучения определяет потолок возможностей модели, поскольку последующее дообучение с трудом преодолевает базовые способности, заложенные на этапе претренинга, однако эта область остается критически малоизученной. Это проистекает из структурного парадокса: организации, обладающие вычислительными ресурсами, действуют в условиях коммерческого давления, препятствующего прозрачному раскрытию информации, в то время как академические учреждения обладают свободой исследований, но не имеют вычислительных ресурсов масштаба претренинга. Модель daVinci-LLM занимает эту неисследованную нишу, объединяя промышленные ресурсы с полной научной свободой для прогресса в науке о предварительном обучении. Мы применяем полностью открытую парадигму, рассматривая открытость как научную методологию, и публикуем полные конвейеры обработки данных, весь процесс обучения и результаты систематического исследования. Признавая, что в области отсутствует систематическая методология обработки данных, мы используем фреймворк Data Darwinism — принципиальную таксономию L0-L9, охватывающую этапы от фильтрации до синтеза. Мы обучаем модель с 3 миллиардами параметров со случайной инициализации на 8 триллионах токенов, используя двухэтапный адаптивный учебный план, который постепенно смещается от базовых способностей к усилению, требующему интенсивных рассуждений. Более чем в 200 контролируемых абляционных экспериментах мы установили, что: глубина обработки данных систематически повышает возможности модели, утверждая ее как критически важное измерение наряду с масштабированием объема; различные домены демонстрируют distinct dynamics насыщения, что требует адаптивных стратегий — от корректировки пропорций до смены форматов; композиционный баланс позволяет проводить целевое усиление, предотвращая коллапс производительности; выбор протоколов оценки формирует наше понимание прогресса в претренинге. Публикуя полный процесс исследования, мы позволяем сообществу строить на основе наших выводов и систематических методологий, формируя кумулятивное научное знание в области предварительного обучения.

English

The foundational pretraining phase determines a model's capability ceiling, as post-training struggles to overcome capability foundations established during pretraining, yet it remains critically under-explored. This stems from a structural paradox: organizations with computational resources operate under commercial pressures that inhibit transparent disclosure, while academic institutions possess research freedom but lack pretraining-scale computational resources. daVinci-LLM occupies this unexplored intersection, combining industrial-scale resources with full research freedom to advance the science of pretraining. We adopt a fully-open paradigm that treats openness as scientific methodology, releasing complete data processing pipelines, full training processes, and systematic exploration results. Recognizing that the field lacks systematic methodology for data processing, we employ the Data Darwinism framework, a principled L0-L9 taxonomy from filtering to synthesis. We train a 3B-parameter model from random initialization across 8T tokens using a two-stage adaptive curriculum that progressively shifts from foundational capabilities to reasoning-intensive enhancement. Through 200+ controlled ablations, we establish that: processing depth systematically enhances capabilities, establishing it as a critical dimension alongside volume scaling; different domains exhibit distinct saturation dynamics, necessitating adaptive strategies from proportion adjustments to format shifts; compositional balance enables targeted intensification while preventing performance collapse; how evaluation protocol choices shape our understanding of pretraining progress. By releasing the complete exploration process, we enable the community to build upon our findings and systematic methodologies to form accumulative scientific knowledge in pretraining.