¿Puede este modelo también reconocer perros? Búsqueda de modelos de cero disparos a partir de pesos

Can this Model Also Recognize Dogs? Zero-Shot Model Search from Weights

February 13, 2025

Autores: Jonathan Kahana, Or Nathan, Eliahu Horwitz, Yedid Hoshen

cs.AI

Resumen

Con el creciente número de modelos disponibles públicamente, es probable que existan modelos en línea preentrenados para la mayoría de las tareas que los usuarios requieren. Sin embargo, los métodos actuales de búsqueda de modelos son rudimentarios, básicamente una búsqueda basada en texto en la documentación, por lo tanto, los usuarios no pueden encontrar los modelos relevantes. En este artículo se presenta ProbeLog, un método para recuperar modelos de clasificación que pueden reconocer un concepto objetivo, como "Perro", sin acceso a metadatos del modelo o datos de entrenamiento. A diferencia de los métodos de sondeo anteriores, ProbeLog calcula un descriptor para cada dimensión de salida (logit) de cada modelo, observando sus respuestas en un conjunto fijo de entradas (sondas). Nuestro método admite tanto la recuperación basada en logit ("encontrar más logit como este") como la recuperación basada en texto de cero disparo ("encontrar todos los logit correspondientes a perros"). Dado que las representaciones basadas en sondeo requieren múltiples pasos hacia adelante costosos a través del modelo, desarrollamos un método, basado en filtrado colaborativo, que reduce el costo de codificación de repositorios en un 3x. Demostramos que ProbeLog logra una alta precisión de recuperación, tanto en tareas de búsqueda del mundo real como en tareas de búsqueda detalladas, y es escalable a repositorios de tamaño completo.

English

With the increasing numbers of publicly available models, there are probably pretrained, online models for most tasks users require. However, current model search methods are rudimentary, essentially a text-based search in the documentation, thus users cannot find the relevant models. This paper presents ProbeLog, a method for retrieving classification models that can recognize a target concept, such as "Dog", without access to model metadata or training data. Differently from previous probing methods, ProbeLog computes a descriptor for each output dimension (logit) of each model, by observing its responses on a fixed set of inputs (probes). Our method supports both logit-based retrieval ("find more logits like this") and zero-shot, text-based retrieval ("find all logits corresponding to dogs"). As probing-based representations require multiple costly feedforward passes through the model, we develop a method, based on collaborative filtering, that reduces the cost of encoding repositories by 3x. We demonstrate that ProbeLog achieves high retrieval accuracy, both in real-world and fine-grained search tasks and is scalable to full-size repositories.