Verborgen Parels Ontdekken in Modelrepositorys
Discovering Hidden Gems in Model Repositories
January 29, 2026
Auteurs: Jonathan Kahana, Eliahu Horwitz, Yedid Hoshen
cs.AI
Samenvatting
Openbare repositories herbergen miljoenen fijnafgestelde modellen, toch blijft het gemeenschapsgebruik onevenredig geconcentreerd op een klein aantal foundation checkpoints. Wij onderzoeken of deze concentratie een efficiënte marktselectie weerspiegelt of dat superieure modellen systematisch over het hoofd worden gezien. Door een uitgebreide evaluatie van meer dan 2.000 modellen tonen wij de prevalentie van "verborgen parels" aan: onpopulaire fijnafstellingen die aanzienlijk beter presteren dan hun populaire tegenhangers. Opmerkelijk is dat wij binnen de Llama-3.1-8B-familie zelden gedownloade checkpoints aantreffen die de wiskundeprestatie verbeteren van 83,2% naar 96,0% zonder de inferentiekosten te verhogen. Het ontdekken van deze modellen via exhaustieve evaluatie van elk geüpload model is echter computationeel onhaalbaar. Daarom formuleren wij modeldiscovery als een Multi-Armed Bandit-probleem en versnellen wij het Sequential Halving-zoekalgoritme door gebruik te maken van gedeelde querysets en agressieve eliminatieschema's. Onze methode retrieveert topmodellen met slechts 50 queries per kandidaat, wat de discovery met meer dan 50x versnelt.
English
Public repositories host millions of fine-tuned models, yet community usage remains disproportionately concentrated on a small number of foundation checkpoints. We investigate whether this concentration reflects efficient market selection or if superior models are systematically overlooked. Through an extensive evaluation of over 2,000 models, we show the prevalence of "hidden gems", unpopular fine-tunes that significantly outperform their popular counterparts. Notably, within the Llama-3.1-8B family, we find rarely downloaded checkpoints that improve math performance from 83.2% to 96.0% without increasing inference costs. However, discovering these models through exhaustive evaluation of every uploaded model is computationally infeasible. We therefore formulate model discovery as a Multi-Armed Bandit problem and accelerate the Sequential Halving search algorithm by using shared query sets and aggressive elimination schedules. Our method retrieves top models with as few as 50 queries per candidate, accelerating discovery by over 50x.