Descobrindo Joias Ocultas em Repositórios de Modelos
Discovering Hidden Gems in Model Repositories
January 29, 2026
Autores: Jonathan Kahana, Eliahu Horwitz, Yedid Hoshen
cs.AI
Resumo
Os repositórios públicos hospedam milhões de modelos afinados, mas o uso pela comunidade permanece desproporcionalmente concentrado em um pequeno número de *checkpoints* fundamentais. Investigamos se essa concentração reflete uma seleção eficiente de mercado ou se modelos superiores são sistematicamente negligenciados. Por meio de uma avaliação extensa de mais de 2.000 modelos, demonstramos a prevalência de "joias ocultas": modelos afinados impopulares que superam significativamente suas contrapartes populares. Notavelmente, na família Llama-3.1-8B, encontramos *checkpoints* pouco baixados que melhoram o desempenho em matemática de 83,2% para 96,0% sem aumentar os custos de inferência. No entanto, descobrir esses modelos por meio da avaliação exaustiva de cada modelo carregado é computacionalmente inviável. Portanto, formulamos a descoberta de modelos como um problema do Bandido Multiarmado e aceleramos o algoritmo de busca de Halving Sequencial usando conjuntos de consultas compartilhados e cronogramas de eliminação agressivos. Nosso método recupera os melhores modelos com apenas 50 consultas por candidato, acelerando a descoberta em mais de 50 vezes.
English
Public repositories host millions of fine-tuned models, yet community usage remains disproportionately concentrated on a small number of foundation checkpoints. We investigate whether this concentration reflects efficient market selection or if superior models are systematically overlooked. Through an extensive evaluation of over 2,000 models, we show the prevalence of "hidden gems", unpopular fine-tunes that significantly outperform their popular counterparts. Notably, within the Llama-3.1-8B family, we find rarely downloaded checkpoints that improve math performance from 83.2% to 96.0% without increasing inference costs. However, discovering these models through exhaustive evaluation of every uploaded model is computationally infeasible. We therefore formulate model discovery as a Multi-Armed Bandit problem and accelerate the Sequential Halving search algorithm by using shared query sets and aggressive elimination schedules. Our method retrieves top models with as few as 50 queries per candidate, accelerating discovery by over 50x.