Открытие скрытых жемчужин в репозиториях моделей

Discovering Hidden Gems in Model Repositories

January 29, 2026

Авторы: Jonathan Kahana, Eliahu Horwitz, Yedid Hoshen

cs.AI

Аннотация

Публичные репозитории содержат миллионы дообученных моделей, однако использование сообщества остается непропорционально сконцентрированным на небольшом количестве базовых чекпоинтов. Мы исследуем, отражает ли эта концентрация эффективный рыночный отбор или же качественные модели систематически остаются без внимания. В результате масштабной оценки более 2000 моделей мы демонстрируем распространенность "скрытых жемчужин" — непопулярных дообученных моделей, которые значительно превосходят свои популярные аналоги. Примечательно, что в семействе Llama-3.1-8B мы обнаружили редко скачиваемые чекпоинты, которые повышают результативность в математических задачах с 83,2% до 96,0% без увеличения вычислительных затрат на вывод. Однако обнаружение таких моделей путем полного перебора всех загруженных вариантов вычислительно неосуществимо. Поэтому мы формулируем задачу поиска моделей как проблему многоруких бандитов и ускоряем алгоритм последовательного деления пополам за счет использования общих наборов запросов и агрессивных стратегий исключения. Наш метод позволяет находить лучшие модели всего за 50 запросов на кандидата, ускоряя поиск более чем в 50 раз.

English

Public repositories host millions of fine-tuned models, yet community usage remains disproportionately concentrated on a small number of foundation checkpoints. We investigate whether this concentration reflects efficient market selection or if superior models are systematically overlooked. Through an extensive evaluation of over 2,000 models, we show the prevalence of "hidden gems", unpopular fine-tunes that significantly outperform their popular counterparts. Notably, within the Llama-3.1-8B family, we find rarely downloaded checkpoints that improve math performance from 83.2% to 96.0% without increasing inference costs. However, discovering these models through exhaustive evaluation of every uploaded model is computationally infeasible. We therefore formulate model discovery as a Multi-Armed Bandit problem and accelerate the Sequential Halving search algorithm by using shared query sets and aggressive elimination schedules. Our method retrieves top models with as few as 50 queries per candidate, accelerating discovery by over 50x.