Mergenetic: シンプルな進化モデル統合ライブラリ

Mergenetic: a Simple Evolutionary Model Merging Library

May 16, 2025

著者: Adrian Robert Minut, Tommaso Mencattini, Andrea Santilli, Donato Crisostomi, Emanuele Rodolà

cs.AI

要旨

モデルマージングは、既存のモデルの能力を新たなモデルに組み合わせることを可能にします。これは追加のトレーニングを必要とせず、事後的に行うことができます。その低コストと、コンシューマー向けGPUでのマージングをサポートするライブラリの利用可能性により、この手法はますます人気を集めています。最近の研究では、マージングと進化的アルゴリズムを組み合わせることで性能が向上することが示されていますが、言語モデルにおいてそのような戦略を柔軟に実験するためのフレームワークは現在存在しません。我々は、進化的モデルマージングのためのオープンソースライブラリであるMergeneticを紹介します。Mergeneticは、マージング手法と進化的アルゴリズムを容易に組み合わせることができ、評価コストを削減するための軽量な適合度推定器を組み込んでいます。我々はその設計を説明し、Mergeneticが控えめなハードウェアを使用して、タスクや言語を横断して競争力のある結果を生み出すことを実証します。

English

Model merging allows combining the capabilities of existing models into a new one - post hoc, without additional training. This has made it increasingly popular thanks to its low cost and the availability of libraries that support merging on consumer GPUs. Recent work shows that pairing merging with evolutionary algorithms can boost performance, but no framework currently supports flexible experimentation with such strategies in language models. We introduce Mergenetic, an open-source library for evolutionary model merging. Mergenetic enables easy composition of merging methods and evolutionary algorithms while incorporating lightweight fitness estimators to reduce evaluation costs. We describe its design and demonstrate that Mergenetic produces competitive results across tasks and languages using modest hardware.