モデルリポジトリに眠る隠れた宝石の発見

Discovering Hidden Gems in Model Repositories

January 29, 2026

著者: Jonathan Kahana, Eliahu Horwitz, Yedid Hoshen

cs.AI

要旨

公開リポジトリには数百万のファインチューニング済みモデルが存在するが、コミュニティの利用は不均衡に少数の基盤モデルに集中している。本論文では、この集中現象が効率的な市場選択を反映しているのか、あるいは優れたモデルが体系的に見落とされているのかを検証する。2,000以上のモデルを大規模評価した結果、人気モデルを大幅に上回る性能を持つ「隠れた名モデル」（低人気ファインチューニングモデル）が広く存在することを明らかにした。特にLlama-3.1-8Bファミリーでは、推論コストを増加させずに数学的推論性能を83.2%から96.0%まで向上させる稀にしかダウンロードされないチェックポイントを発見した。しかし、アップロードされた全モデルを網羅的に評価する手法は計算量的に非現実的である。そこで我々はモデル発見問題を多腕バンディット問題として定式化し、共有クエリセットと積極的除去スケジュールを用いてSequential Halving検索アルゴリズムを高速化する。提案手法では候補モデル当たり50回のクエリでトップモデルを回収可能であり、発見速度を50倍以上加速させる。

English

Public repositories host millions of fine-tuned models, yet community usage remains disproportionately concentrated on a small number of foundation checkpoints. We investigate whether this concentration reflects efficient market selection or if superior models are systematically overlooked. Through an extensive evaluation of over 2,000 models, we show the prevalence of "hidden gems", unpopular fine-tunes that significantly outperform their popular counterparts. Notably, within the Llama-3.1-8B family, we find rarely downloaded checkpoints that improve math performance from 83.2% to 96.0% without increasing inference costs. However, discovering these models through exhaustive evaluation of every uploaded model is computationally infeasible. We therefore formulate model discovery as a Multi-Armed Bandit problem and accelerate the Sequential Halving search algorithm by using shared query sets and aggressive elimination schedules. Our method retrieves top models with as few as 50 queries per candidate, accelerating discovery by over 50x.