Дарвинизм данных. Часть I: Раскрытие ценности научных данных для предварительного обучения
Data Darwinism Part I: Unlocking the Value of Scientific Data for Pre-training
February 8, 2026
Авторы: Yiwei Qin, Zhen Huang, Tiantian Mi, Weiye Si, Chenyang Zhou, Qipeng Guo, Siyuan Feng, Pengfei Liu
cs.AI
Аннотация
Качество данных определяет производительность базовых моделей, однако систематические фреймворки их обработки отсутствуют. Мы представляем Data Darwinism — десятиуровневую таксономию (L0-L9), концептуализирующую коэволюцию данных и моделей: продвинутые модели создают превосходные данные для систем следующего поколения. Мы проверяем это на научной литературе, построив Darwin-Science — корпус объемом 900 млрд токенов (L0-L5). Мы выявляем разрыв в обучаемости сырого научного текста, который устраняется через уровни L4 (Генеративное уточнение) и L5 (Когнитивное дополнение) с использованием передовых LLM для экспликации терминологии и логических рассуждений.
Для обеспечения строгой атрибуции мы предварительно обучили модели daVinci-origin-3B/7B с нуля, исключив научный контент для создания незагрязненных базовых линий. После дообучения на 600 млрд токенов Darwin-Science превосходит базовые линии на +2,12 (3B) и +2,95 (7B) пункта в более чем 20 тестах, достигая +5,60 и +8,40 пунктов в предметно-ориентированных задачах. Систематический переход к уровню L5 дает совокупный прирост +1,36 пункта, подтверждая, что обработка высокого уровня раскрывает скрытую ценность данных. Мы публикуем корпус Darwin-Science и модели daVinci-origin для обеспечения принципиального коэволюционного развития.
English
Data quality determines foundation model performance, yet systematic processing frameworks are lacking. We introduce Data Darwinism, a ten-level taxonomy (L0-L9) that conceptualizes data-model co-evolution: advanced models produce superior data for next-generation systems. We validate this on scientific literature by constructing Darwin-Science, a 900B-token corpus (L0-L5). We identify a learnability gap in raw scientific text, which we bridge via L4 (Generative Refinement) and L5 (Cognitive Completion) using frontier LLMs to explicate reasoning and terminology.
To ensure rigorous attribution, we pre-trained daVinci-origin-3B/7B models from scratch, excluding scientific content to create contamination-free baselines. After 600B tokens of continued pre-training, Darwin-Science outperforms baselines by +2.12 (3B) and +2.95 (7B) points across 20+ benchmarks, rising to +5.60 and +8.40 points on domain-aligned tasks. Systematic progression to L5 yields a +1.36 total gain, confirming that higher-level processing unlocks latent data value. We release the Darwin-Science corpus and daVinci-origin models to enable principled, co-evolutionary development.