Mergenetic: Простая библиотека для объединения эволюционных моделей

Mergenetic: a Simple Evolutionary Model Merging Library

May 16, 2025

Авторы: Adrian Robert Minut, Tommaso Mencattini, Andrea Santilli, Donato Crisostomi, Emanuele Rodolà

cs.AI

Аннотация

Слияние моделей позволяет объединять возможности существующих моделей в новую — постфактум, без дополнительного обучения. Этот подход становится всё более популярным благодаря своей низкой стоимости и наличию библиотек, поддерживающих слияние на потребительских GPU. Недавние исследования показывают, что сочетание слияния с эволюционными алгоритмами может повысить производительность, однако на данный момент нет фреймворка, поддерживающего гибкое экспериментирование с такими стратегиями в языковых моделях. Мы представляем Mergenetic — открытую библиотеку для эволюционного слияния моделей. Mergenetic позволяет легко комбинировать методы слияния и эволюционные алгоритмы, интегрируя легковесные оценки пригодности для снижения затрат на оценку. Мы описываем её дизайн и демонстрируем, что Mergenetic обеспечивает конкурентоспособные результаты для различных задач и языков, используя скромные аппаратные ресурсы.

English

Model merging allows combining the capabilities of existing models into a new one - post hoc, without additional training. This has made it increasingly popular thanks to its low cost and the availability of libraries that support merging on consumer GPUs. Recent work shows that pairing merging with evolutionary algorithms can boost performance, but no framework currently supports flexible experimentation with such strategies in language models. We introduce Mergenetic, an open-source library for evolutionary model merging. Mergenetic enables easy composition of merging methods and evolutionary algorithms while incorporating lightweight fitness estimators to reduce evaluation costs. We describe its design and demonstrate that Mergenetic produces competitive results across tasks and languages using modest hardware.