Kan dit model ook honden herkennen? Zero-Shot Model Zoeken van Gewichten

Can this Model Also Recognize Dogs? Zero-Shot Model Search from Weights

February 13, 2025

Auteurs: Jonathan Kahana, Or Nathan, Eliahu Horwitz, Yedid Hoshen

cs.AI

Samenvatting

Met het toenemende aantal publiekelijk beschikbare modellen zijn er waarschijnlijk voor de meeste taken die gebruikers nodig hebben, voorgetrainde modellen online beschikbaar. Huidige methoden voor modelzoekopdrachten zijn echter rudimentair, in feite een op tekst gebaseerde zoekopdracht in de documentatie, waardoor gebruikers de relevante modellen niet kunnen vinden. Dit artikel presenteert ProbeLog, een methode voor het ophalen van classificatiemodellen die een doelconcept kunnen herkennen, zoals "Hond", zonder toegang tot modelmetadata of trainingsgegevens. In tegenstelling tot eerdere probeermethoden berekent ProbeLog een descriptor voor elke uitvoerdimensie (logit) van elk model door de reacties ervan op een vastgestelde reeks invoergegevens (probes) te observeren. Onze methode ondersteunt zowel op logit gebaseerde ophaling ("vind meer logitwaarden zoals deze") als zero-shot, op tekst gebaseerde ophaling ("vind alle logitwaarden die overeenkomen met honden"). Aangezien representaties op basis van probing meerdere kostbare feedforward passes door het model vereisen, ontwikkelen we een methode op basis van collaboratieve filtering die de kosten van het coderen van repositories met een factor 3 verlaagt. We tonen aan dat ProbeLog een hoge ophaalnauwkeurigheid behaalt, zowel bij zoekopdrachten in de echte wereld als bij fijnmazige zoektaken, en schaalbaar is naar volledige repositories.

English

With the increasing numbers of publicly available models, there are probably pretrained, online models for most tasks users require. However, current model search methods are rudimentary, essentially a text-based search in the documentation, thus users cannot find the relevant models. This paper presents ProbeLog, a method for retrieving classification models that can recognize a target concept, such as "Dog", without access to model metadata or training data. Differently from previous probing methods, ProbeLog computes a descriptor for each output dimension (logit) of each model, by observing its responses on a fixed set of inputs (probes). Our method supports both logit-based retrieval ("find more logits like this") and zero-shot, text-based retrieval ("find all logits corresponding to dogs"). As probing-based representations require multiple costly feedforward passes through the model, we develop a method, based on collaborative filtering, that reduces the cost of encoding repositories by 3x. We demonstrate that ProbeLog achieves high retrieval accuracy, both in real-world and fine-grained search tasks and is scalable to full-size repositories.