このモデルは犬も認識できますか？ 重みからのゼロショットモデル検索

Can this Model Also Recognize Dogs? Zero-Shot Model Search from Weights

February 13, 2025

著者: Jonathan Kahana, Or Nathan, Eliahu Horwitz, Yedid Hoshen

cs.AI

要旨

公開されているモデルの数が増えるにつれて、おそらくユーザーが必要とするほとんどのタスクに対して、事前学習済みのオンラインモデルがあるでしょう。ただし、現在のモデル検索方法は基本的にはテキストベースの検索であり、ユーザーは関連するモデルを見つけることができません。本論文では、モデルのメタデータやトレーニングデータにアクセスせずに、「犬」などのターゲット概念を認識できる分類モデルを取得するための方法であるProbeLogを提案します。従来のプロービング方法とは異なり、ProbeLogは各モデルの各出力次元（ロジット）について、固定された入力セット（プローブ）上での応答を観察することによってディスクリプタを計算します。当社の方法は、ロジットベースの検索（「これに似たロジットを見つける」）とゼロショットのテキストベースの検索（「犬に対応するすべてのロジットを見つける」）の両方をサポートしています。プロービングベースの表現は、モデルを通過する複数の高コストの順方向パスが必要なため、当社は、エンコードリポジトリのコストを3倍に削減する協調フィルタリングに基づいた方法を開発しました。ProbeLogが、実世界および細かい検索タスクにおいて高い検索精度を達成し、フルサイズのリポジトリにスケーラブルであることを示します。

English

With the increasing numbers of publicly available models, there are probably pretrained, online models for most tasks users require. However, current model search methods are rudimentary, essentially a text-based search in the documentation, thus users cannot find the relevant models. This paper presents ProbeLog, a method for retrieving classification models that can recognize a target concept, such as "Dog", without access to model metadata or training data. Differently from previous probing methods, ProbeLog computes a descriptor for each output dimension (logit) of each model, by observing its responses on a fixed set of inputs (probes). Our method supports both logit-based retrieval ("find more logits like this") and zero-shot, text-based retrieval ("find all logits corresponding to dogs"). As probing-based representations require multiple costly feedforward passes through the model, we develop a method, based on collaborative filtering, that reduces the cost of encoding repositories by 3x. We demonstrate that ProbeLog achieves high retrieval accuracy, both in real-world and fine-grained search tasks and is scalable to full-size repositories.