Descubriendo Joyas Ocultas en los Repositorios de Modelos
Discovering Hidden Gems in Model Repositories
January 29, 2026
Autores: Jonathan Kahana, Eliahu Horwitz, Yedid Hoshen
cs.AI
Resumen
Los repositorios públicos albergan millones de modelos ajustados, pero el uso comunitario sigue concentrándose de manera desproporcionada en un pequeño número de puntos de control fundamentales. Investigamos si esta concentración refleja una selección eficiente del mercado o si se pasan por alto sistemáticamente modelos superiores. Mediante una evaluación exhaustiva de más de 2.000 modelos, demostramos la prevalencia de "joyas ocultas": ajustes finos impopulares que superan significativamente a sus contrapartes populares. Notablemente, dentro de la familia Llama-3.1-8B, encontramos puntos de control poco descargados que mejoran el rendimiento en matemáticas del 83.2% al 96.0% sin aumentar los costos de inferencia. Sin embargo, descubrir estos modelos mediante la evaluación exhaustiva de cada modelo subido es computacionalmente inviable. Por lo tanto, formulamos el descubrimiento de modelos como un problema de Bandido Multibrazo y aceleramos el algoritmo de búsqueda de Mitificación Secuencial utilizando conjuntos de consultas compartidos y calendarios de eliminación agresivos. Nuestro método recupera los mejores modelos con tan solo 50 consultas por candidato, acelerando el descubrimiento en más de 50 veces.
English
Public repositories host millions of fine-tuned models, yet community usage remains disproportionately concentrated on a small number of foundation checkpoints. We investigate whether this concentration reflects efficient market selection or if superior models are systematically overlooked. Through an extensive evaluation of over 2,000 models, we show the prevalence of "hidden gems", unpopular fine-tunes that significantly outperform their popular counterparts. Notably, within the Llama-3.1-8B family, we find rarely downloaded checkpoints that improve math performance from 83.2% to 96.0% without increasing inference costs. However, discovering these models through exhaustive evaluation of every uploaded model is computationally infeasible. We therefore formulate model discovery as a Multi-Armed Bandit problem and accelerate the Sequential Halving search algorithm by using shared query sets and aggressive elimination schedules. Our method retrieves top models with as few as 50 queries per candidate, accelerating discovery by over 50x.