Kann dieses Modell auch Hunde erkennen? Null-Schuss-Modellsuche aus Gewichten.

Can this Model Also Recognize Dogs? Zero-Shot Model Search from Weights

February 13, 2025

Autoren: Jonathan Kahana, Or Nathan, Eliahu Horwitz, Yedid Hoshen

cs.AI

Zusammenfassung

Mit der zunehmenden Anzahl öffentlich verfügbarer Modelle gibt es wahrscheinlich vortrainierte, Online-Modelle für die meisten Aufgaben, die Benutzer benötigen. Allerdings sind die aktuellen Methoden zur Modellsuche rudimentär, im Wesentlichen eine textbasierte Suche in der Dokumentation, sodass Benutzer die relevanten Modelle nicht finden können. Dieses Papier stellt ProbeLog vor, eine Methode zum Abrufen von Klassifikationsmodellen, die ein Zielkonzept wie "Hund" erkennen können, ohne Zugriff auf Modellmetadaten oder Trainingsdaten. Im Unterschied zu früheren Sondierungsmethoden berechnet ProbeLog einen Deskriptor für jede Ausgabedimension (Logit) jedes Modells, indem es seine Reaktionen auf einen festen Satz von Eingaben (Sonden) beobachtet. Unsere Methode unterstützt sowohl logitbasiertes Abrufen ("finde mehr Logits wie diesen") als auch Null-Shot, textbasiertes Abrufen ("finde alle Logits, die Hunden entsprechen"). Da sondierungsbasierte Repräsentationen mehrere kostspielige Feedforward-Passagen durch das Modell erfordern, entwickeln wir eine Methode, die auf kollaborativem Filtern basiert und die Kosten der Codierung von Repositories um das 3-fache reduziert. Wir zeigen, dass ProbeLog hohe Abrufgenauigkeit sowohl bei realen als auch bei feinkörnigen Suchaufgaben erreicht und auf vollständige Repositories skalierbar ist.

English

With the increasing numbers of publicly available models, there are probably pretrained, online models for most tasks users require. However, current model search methods are rudimentary, essentially a text-based search in the documentation, thus users cannot find the relevant models. This paper presents ProbeLog, a method for retrieving classification models that can recognize a target concept, such as "Dog", without access to model metadata or training data. Differently from previous probing methods, ProbeLog computes a descriptor for each output dimension (logit) of each model, by observing its responses on a fixed set of inputs (probes). Our method supports both logit-based retrieval ("find more logits like this") and zero-shot, text-based retrieval ("find all logits corresponding to dogs"). As probing-based representations require multiple costly feedforward passes through the model, we develop a method, based on collaborative filtering, that reduces the cost of encoding repositories by 3x. We demonstrate that ProbeLog achieves high retrieval accuracy, both in real-world and fine-grained search tasks and is scalable to full-size repositories.