Questo modello può anche riconoscere i cani? Ricerca del modello zero-shot dai pesi

Can this Model Also Recognize Dogs? Zero-Shot Model Search from Weights

February 13, 2025

Autori: Jonathan Kahana, Or Nathan, Eliahu Horwitz, Yedid Hoshen

cs.AI

Abstract

Con il crescente numero di modelli disponibili pubblicamente, è probabile che esistano modelli preaddestrati online per la maggior parte dei compiti richiesti dagli utenti. Tuttavia, i metodi attuali di ricerca dei modelli sono rudimentali, essenzialmente basati su una ricerca testuale nella documentazione, quindi gli utenti non riescono a trovare i modelli pertinenti. Questo articolo presenta ProbeLog, un metodo per recuperare modelli di classificazione in grado di riconoscere un concetto target, come "Cane", senza accedere ai metadati del modello o ai dati di addestramento. Diversamente dai metodi di sondaggio precedenti, ProbeLog calcola un descrittore per ciascuna dimensione di output (logit) di ciascun modello, osservando le sue risposte su un insieme fisso di input (sondaggi). Il nostro metodo supporta sia il recupero basato sui logit ("trova più logit simili a questo") che il recupero basato su testo senza addestramento ("trova tutti i logit corrispondenti ai cani"). Poiché le rappresentazioni basate sul sondaggio richiedono molteplici costosi passaggi in avanti attraverso il modello, sviluppiamo un metodo, basato sul filtraggio collaborativo, che riduce il costo di codifica dei repository del 3x. Dimostriamo che ProbeLog raggiunge un'alta precisione di recupero, sia in compiti di ricerca reali che dettagliati e che è scalabile per repository di dimensioni complete.

English

With the increasing numbers of publicly available models, there are probably pretrained, online models for most tasks users require. However, current model search methods are rudimentary, essentially a text-based search in the documentation, thus users cannot find the relevant models. This paper presents ProbeLog, a method for retrieving classification models that can recognize a target concept, such as "Dog", without access to model metadata or training data. Differently from previous probing methods, ProbeLog computes a descriptor for each output dimension (logit) of each model, by observing its responses on a fixed set of inputs (probes). Our method supports both logit-based retrieval ("find more logits like this") and zero-shot, text-based retrieval ("find all logits corresponding to dogs"). As probing-based representations require multiple costly feedforward passes through the model, we develop a method, based on collaborative filtering, that reduces the cost of encoding repositories by 3x. We demonstrate that ProbeLog achieves high retrieval accuracy, both in real-world and fine-grained search tasks and is scalable to full-size repositories.