Mergenetic: Eine einfache Bibliothek zur Zusammenführung evolutionärer Modelle

Mergenetic: a Simple Evolutionary Model Merging Library

May 16, 2025

Autoren: Adrian Robert Minut, Tommaso Mencattini, Andrea Santilli, Donato Crisostomi, Emanuele Rodolà

cs.AI

Zusammenfassung

Das Modell-Merging ermöglicht es, die Fähigkeiten bestehender Modelle in ein neues zu kombinieren – nachträglich und ohne zusätzliches Training. Dies hat es aufgrund seiner geringen Kosten und der Verfügbarkeit von Bibliotheken, die das Merging auf Consumer-GPUs unterstützen, zunehmend populär gemacht. Aktuelle Arbeiten zeigen, dass die Kombination von Merging mit evolutionären Algorithmen die Leistung steigern kann, aber es gibt derzeit kein Framework, das flexible Experimente mit solchen Strategien bei Sprachmodellen unterstützt. Wir stellen Mergenetic vor, eine Open-Source-Bibliothek für evolutionäres Modell-Merging. Mergenetic ermöglicht die einfache Zusammensetzung von Merging-Methoden und evolutionären Algorithmen, während es leichtgewichtige Fitness-Schätzer integriert, um die Evaluationskosten zu reduzieren. Wir beschreiben sein Design und zeigen, dass Mergenetic mit bescheidenen Hardware-Ressourcen wettbewerbsfähige Ergebnisse über verschiedene Aufgaben und Sprachen hinweg erzielt.

English

Model merging allows combining the capabilities of existing models into a new one - post hoc, without additional training. This has made it increasingly popular thanks to its low cost and the availability of libraries that support merging on consumer GPUs. Recent work shows that pairing merging with evolutionary algorithms can boost performance, but no framework currently supports flexible experimentation with such strategies in language models. We introduce Mergenetic, an open-source library for evolutionary model merging. Mergenetic enables easy composition of merging methods and evolutionary algorithms while incorporating lightweight fitness estimators to reduce evaluation costs. We describe its design and demonstrate that Mergenetic produces competitive results across tasks and languages using modest hardware.