다윈 패밀리: MRI-신뢰 가중 진화적 병합을 통한 언어 모델 추론의 훈련 없는 확장

초록

우리는 Darwin Family를 제안한다. 이는 경사도 없는 가중치 공간 재조합을 통해 대규모 언어 모델의 훈련 없는 진화적 병합을 가능하게 하는 프레임워크이다. 본 연구는 추가 훈련 없이 기존 체크포인트에 이미 인코딩된 잠재 능력을 재구성함으로써 최첨단 추론 성능을 개선할 수 있는지를 탐구한다. Darwin은 세 가지 핵심 아이디어를 도입한다: (i) 세부 구성 요소 및 블록 수준의 재조합을 가능하게 하는 14차원 적응형 병합 게놈; (ii) 학습 가능한 신뢰 파라미터를 통해 진화적 탐색과 진단적 계층 중요도 신호를 적응적으로 균형 맞추는 MRI-Trust 융합; (iii) 이종 모델 패밀리 간의 교차 아키텍처 교배를 가능하게 하는 아키텍처 매퍼. 실험적으로, 주력 모델인 Darwin-27B-Opus는 GPQA Diamond에서 86.9%를 달성하여 1,252개 평가 모델 중 6위를 기록했으며, 경사도 기반 훈련 없이 완전히 훈련된 기반 모델을 능가했다. 4B에서 35B 파라미터에 이르는 다양한 규모에서 Darwin 모델은 일관되게 부모 모델보다 성능이 우수하며, 재귀적 다세대 진화를 지원하고, Transformer 및 Mamba 기반 구성 요소를 결합하는 훈련 없는 진화적 병합을 가능하게 한다. 종합적으로, Darwin Family는 진단 기반 진화적 병합이 추론 중심 언어 모델을 위한 고비용 사후 훈련 파이프라인에 대한 실용적이고 재현 가능한 대안임을 입증한다.

English

We present Darwin Family, a framework for training-free evolutionary merging of large language models via gradient-free weight-space recombination. We ask whether frontier-level reasoning performance can be improved without additional training, by reorganizing latent capabilities already encoded in existing checkpoints. Darwin introduces three key ideas: (i) a 14-dimensional adaptive merge genome enabling fine-grained component- and block-level recombination; (ii) MRI-Trust Fusion, which adaptively balances diagnostic layer-importance signals with evolutionary search through a learnable trust parameter; and (iii) an Architecture Mapper that enables cross-architecture breeding between heterogeneous model families. Empirically, the flagship Darwin-27B-Opus achieves 86.9% on GPQA Diamond, ranking #6 among 1,252 evaluated models, and outperforming its fully trained foundation model without any gradient-based training. Across scales from 4B to 35B parameters, Darwin models consistently improve over their parents, support recursive multi-generation evolution, and enable a training-free evolutionary merge that combines Transformer- and Mamba-based components. Together, the Darwin Family demonstrates that diagnostic-guided evolutionary merging is a practical and reproducible alternative to costly post-training pipelines for reasoning-centric language models.