Mergenetic: 단순 진화 모델 통합 라이브러리

Mergenetic: a Simple Evolutionary Model Merging Library

May 16, 2025

저자: Adrian Robert Minut, Tommaso Mencattini, Andrea Santilli, Donato Crisostomi, Emanuele Rodolà

cs.AI

초록

모델 병합은 기존 모델들의 기능을 새로운 모델로 결합할 수 있게 해주며, 추가적인 학습 없이 사후적으로 수행될 수 있다. 이는 낮은 비용과 소비자용 GPU에서 병합을 지원하는 라이브러리의 가용성 덕분에 점점 더 인기를 얻고 있다. 최근 연구에 따르면 병합을 진화 알고리즘과 결합하면 성능을 향상시킬 수 있지만, 현재까지는 언어 모델에서 이러한 전략을 유연하게 실험할 수 있는 프레임워크가 존재하지 않는다. 본 논문에서는 진화적 모델 병합을 위한 오픈소스 라이브러리인 Mergenetic을 소개한다. Mergenetic은 병합 방법과 진화 알고리즘을 쉽게 구성할 수 있도록 하며, 평가 비용을 줄이기 위해 경량화된 적합도 추정기를 통합한다. 본 논문에서는 Mergenetic의 설계를 설명하고, 적당한 하드웨어를 사용하여 다양한 작업과 언어에서 경쟁력 있는 결과를 도출함을 보여준다.

English

Model merging allows combining the capabilities of existing models into a new one - post hoc, without additional training. This has made it increasingly popular thanks to its low cost and the availability of libraries that support merging on consumer GPUs. Recent work shows that pairing merging with evolutionary algorithms can boost performance, but no framework currently supports flexible experimentation with such strategies in language models. We introduce Mergenetic, an open-source library for evolutionary model merging. Mergenetic enables easy composition of merging methods and evolutionary algorithms while incorporating lightweight fitness estimators to reduce evaluation costs. We describe its design and demonstrate that Mergenetic produces competitive results across tasks and languages using modest hardware.