Mergenetic: una Biblioteca Simple para Modelos Evolutivos de Fusión

Mergenetic: a Simple Evolutionary Model Merging Library

May 16, 2025

Autores: Adrian Robert Minut, Tommaso Mencattini, Andrea Santilli, Donato Crisostomi, Emanuele Rodolà

cs.AI

Resumen

La fusión de modelos permite combinar las capacidades de modelos existentes en uno nuevo, de manera posterior y sin necesidad de entrenamiento adicional. Esto ha ganado popularidad debido a su bajo costo y a la disponibilidad de bibliotecas que soportan la fusión en GPUs de consumo. Trabajos recientes muestran que combinar la fusión con algoritmos evolutivos puede mejorar el rendimiento, pero actualmente no existe un marco que permita experimentar de manera flexible con estas estrategias en modelos de lenguaje. Presentamos Mergenetic, una biblioteca de código abierto para la fusión evolutiva de modelos. Mergenetic facilita la composición de métodos de fusión y algoritmos evolutivos, incorporando estimadores de aptitud ligeros para reducir los costos de evaluación. Describimos su diseño y demostramos que Mergenetic produce resultados competitivos en diversas tareas y lenguajes utilizando hardware modesto.

English

Model merging allows combining the capabilities of existing models into a new one - post hoc, without additional training. This has made it increasingly popular thanks to its low cost and the availability of libraries that support merging on consumer GPUs. Recent work shows that pairing merging with evolutionary algorithms can boost performance, but no framework currently supports flexible experimentation with such strategies in language models. We introduce Mergenetic, an open-source library for evolutionary model merging. Mergenetic enables easy composition of merging methods and evolutionary algorithms while incorporating lightweight fitness estimators to reduce evaluation costs. We describe its design and demonstrate that Mergenetic produces competitive results across tasks and languages using modest hardware.