Découvrir des pépites cachées dans les dépôts de modèles
Discovering Hidden Gems in Model Repositories
January 29, 2026
papers.authors: Jonathan Kahana, Eliahu Horwitz, Yedid Hoshen
cs.AI
papers.abstract
Les dépôts publics hébergent des millions de modèles fine-tunés, mais leur utilisation par la communauté reste disproportionnellement concentrée sur un petit nombre de checkpoints fondamentaux. Nous examinons si cette concentration reflète une sélection efficace du marché ou si des modèles supérieurs sont systématiquement négligés. Par une évaluation approfondie de plus de 2 000 modèles, nous démontrons la prévalence de "pépites méconnues" - des modèles fine-tunés impopulaires qui surpassent significativement leurs homologues populaires. Notamment, dans la famille Llama-3.1-8B, nous identifions des checkpoints rarement téléchargés qui améliorent les performances en mathématiques de 83,2% à 96,0% sans augmenter les coûts d'inférence. Cependant, découvrir ces modèles par évaluation exhaustive de chaque modèle uploadé est computationnellement irréalisable. Nous formulons donc la découverte de modèles comme un problème de bandit manchot multi-bras et accélérons l'algorithme de recherche Sequential Halving en utilisant des ensembles de requêtes partagés et des calendriers d'élimination agressifs. Notre méthode retrouve les meilleurs modèles avec seulement 50 requêtes par candidat, accélérant la découverte d'un facteur supérieur à 50.
English
Public repositories host millions of fine-tuned models, yet community usage remains disproportionately concentrated on a small number of foundation checkpoints. We investigate whether this concentration reflects efficient market selection or if superior models are systematically overlooked. Through an extensive evaluation of over 2,000 models, we show the prevalence of "hidden gems", unpopular fine-tunes that significantly outperform their popular counterparts. Notably, within the Llama-3.1-8B family, we find rarely downloaded checkpoints that improve math performance from 83.2% to 96.0% without increasing inference costs. However, discovering these models through exhaustive evaluation of every uploaded model is computationally infeasible. We therefore formulate model discovery as a Multi-Armed Bandit problem and accelerate the Sequential Halving search algorithm by using shared query sets and aggressive elimination schedules. Our method retrieves top models with as few as 50 queries per candidate, accelerating discovery by over 50x.