Verborgene Schätze in Modell-Repositories entdecken

Discovering Hidden Gems in Model Repositories

January 29, 2026

papers.authors: Jonathan Kahana, Eliahu Horwitz, Yedid Hoshen

cs.AI

papers.abstract

Öffentliche Repositorien beherbergen Millionen feinabgestimmter Modelle, dennoch konzentriert sich die Community-Nutzung unverhältnismäßig stark auf eine kleine Anzahl von Basis-Checkpoints. Wir untersuchen, ob diese Konzentration eine effiziente Marktselektion widerspiegelt oder ob systematisch überlegene Modelle übersehen werden. Durch eine umfangreiche Evaluierung von über 2.000 Modellen zeigen wir die Verbreitung von "verborgenen Juwelen" – unbeliebten Feinabstimmungen, die ihre populären Gegenstücke erheblich übertreffen. Bemerkenswerterweise finden wir innerhalb der Llama-3.1-8B-Familie selten heruntergeladene Checkpoints, die die mathematische Leistung von 83,2 % auf 96,0 % steigern, ohne die Inferenzkosten zu erhöhen. Die Entdeckung dieser Modelle durch exhaustive Evaluierung jedes hochgeladenen Modells ist jedoch rechenintensiv und unpraktikabel. Daher formulieren wir Modellentdeckung als ein Multi-Armed-Bandit-Problem und beschleunigen den Sequential-Halving-Suchalgorithmus durch die Verwendung gemeinsamer Abfragesets und aggressiver Eliminierungspläne. Unsere Methode identifiziert Top-Modelle mit nur 50 Abfragen pro Kandidat und beschleunigt die Entdeckung um mehr als das 50-fache.

English

Public repositories host millions of fine-tuned models, yet community usage remains disproportionately concentrated on a small number of foundation checkpoints. We investigate whether this concentration reflects efficient market selection or if superior models are systematically overlooked. Through an extensive evaluation of over 2,000 models, we show the prevalence of "hidden gems", unpopular fine-tunes that significantly outperform their popular counterparts. Notably, within the Llama-3.1-8B family, we find rarely downloaded checkpoints that improve math performance from 83.2% to 96.0% without increasing inference costs. However, discovering these models through exhaustive evaluation of every uploaded model is computationally infeasible. We therefore formulate model discovery as a Multi-Armed Bandit problem and accelerate the Sequential Halving search algorithm by using shared query sets and aggressive elimination schedules. Our method retrieves top models with as few as 50 queries per candidate, accelerating discovery by over 50x.