Ce modèle peut-il également reconnaître les chiens ? Recherche de modèle sans entraînement à partir des poids.

Can this Model Also Recognize Dogs? Zero-Shot Model Search from Weights

February 13, 2025

Auteurs: Jonathan Kahana, Or Nathan, Eliahu Horwitz, Yedid Hoshen

cs.AI

Résumé

Avec le nombre croissant de modèles disponibles publiquement, il existe probablement des modèles pré-entraînés en ligne pour la plupart des tâches requises par les utilisateurs. Cependant, les méthodes actuelles de recherche de modèles sont rudimentaires, essentiellement basées sur une recherche textuelle dans la documentation, ce qui empêche les utilisateurs de trouver les modèles pertinents. Cet article présente ProbeLog, une méthode pour récupérer des modèles de classification capables de reconnaître un concept cible, tel que "Chien", sans accès aux métadonnées du modèle ou aux données d'entraînement. Contrairement aux méthodes de sondage précédentes, ProbeLog calcule un descripteur pour chaque dimension de sortie (logit) de chaque modèle, en observant ses réponses sur un ensemble fixe d'entrées (sondes). Notre méthode prend en charge à la fois la récupération basée sur les logits ("trouver plus de logits comme celui-ci") et la récupération basée sur du texte en zéro-shot ("trouver tous les logits correspondant aux chiens"). Comme les représentations basées sur le sondage nécessitent de multiples passages coûteux en avant à travers le modèle, nous développons une méthode, basée sur le filtrage collaboratif, qui réduit le coût de l'encodage des référentiels de 3 fois. Nous démontrons que ProbeLog atteint une précision élevée en matière de récupération, tant dans des tâches de recherche du monde réel que dans des tâches de recherche fines, et est scalable pour des référentiels de taille réelle.

English

With the increasing numbers of publicly available models, there are probably pretrained, online models for most tasks users require. However, current model search methods are rudimentary, essentially a text-based search in the documentation, thus users cannot find the relevant models. This paper presents ProbeLog, a method for retrieving classification models that can recognize a target concept, such as "Dog", without access to model metadata or training data. Differently from previous probing methods, ProbeLog computes a descriptor for each output dimension (logit) of each model, by observing its responses on a fixed set of inputs (probes). Our method supports both logit-based retrieval ("find more logits like this") and zero-shot, text-based retrieval ("find all logits corresponding to dogs"). As probing-based representations require multiple costly feedforward passes through the model, we develop a method, based on collaborative filtering, that reduces the cost of encoding repositories by 3x. We demonstrate that ProbeLog achieves high retrieval accuracy, both in real-world and fine-grained search tasks and is scalable to full-size repositories.