Семейство Darwin: эволюционное слияние с доверительным взвешиванием MRI для масштабирования рассуждения языковых моделей без обучения

Аннотация

Мы представляем Darwin Family — фреймворк для эволюционного слияния больших языковых моделей без обучения, основанный на рекомбинации в пространстве весов без использования градиентов. Мы исследуем, можно ли улучшить производительность рассуждений на передовом уровне без дополнительного обучения, реорганизуя скрытые способности, уже закодированные в существующих контрольных точках. Darwin вводит три ключевые идеи: (i) 14-мерный адаптивный геном слияния, обеспечивающий рекомбинацию на уровне компонентов и блоков с высокой детализацией; (ii) MRI-Trust Fusion, который адаптивно балансирует сигналы диагностической важности слоёв с эволюционным поиском через обучаемый параметр доверия; и (iii) Архитектурный картограф, позволяющий межархитектурное скрещивание между гетерогенными семействами моделей. Эмпирически флагманская модель Darwin-27B-Opus достигает 86,9% на GPQA Diamond, занимая 6-е место среди 1,252 оценённых моделей, и превосходит свою полностью обученную базовую модель без какого-либо градиентного обучения. В диапазоне масштабов от 4B до 35B параметров модели Darwin последовательно превосходят своих родителей, поддерживают рекурсивную многопоколенную эволюцию и реализуют эволюционное слияние без обучения, объединяющее компоненты на основе Transformer и Mamba. В совокупности семейство Darwin демонстрирует, что эволюционное слияние, направляемое диагностикой, является практичной и воспроизводимой альтернативой дорогостоящим конвейерам пост-обучения для языковых моделей, ориентированных на рассуждения.

English

We present Darwin Family, a framework for training-free evolutionary merging of large language models via gradient-free weight-space recombination. We ask whether frontier-level reasoning performance can be improved without additional training, by reorganizing latent capabilities already encoded in existing checkpoints. Darwin introduces three key ideas: (i) a 14-dimensional adaptive merge genome enabling fine-grained component- and block-level recombination; (ii) MRI-Trust Fusion, which adaptively balances diagnostic layer-importance signals with evolutionary search through a learnable trust parameter; and (iii) an Architecture Mapper that enables cross-architecture breeding between heterogeneous model families. Empirically, the flagship Darwin-27B-Opus achieves 86.9% on GPQA Diamond, ranking #6 among 1,252 evaluated models, and outperforming its fully trained foundation model without any gradient-based training. Across scales from 4B to 35B parameters, Darwin models consistently improve over their parents, support recursive multi-generation evolution, and enable a training-free evolutionary merge that combines Transformer- and Mamba-based components. Together, the Darwin Family demonstrates that diagnostic-guided evolutionary merging is a practical and reproducible alternative to costly post-training pipelines for reasoning-centric language models.