Este Modelo Também Pode Reconhecer Cães? Busca de Modelo Zero-Shot a partir de Pesos

Can this Model Also Recognize Dogs? Zero-Shot Model Search from Weights

February 13, 2025

Autores: Jonathan Kahana, Or Nathan, Eliahu Horwitz, Yedid Hoshen

cs.AI

Resumo

Com o aumento do número de modelos disponíveis publicamente, provavelmente existem modelos pré-treinados online para a maioria das tarefas que os usuários necessitam. No entanto, os métodos atuais de busca de modelos são rudimentares, essencialmente uma busca baseada em texto na documentação, o que impede os usuários de encontrar os modelos relevantes. Este artigo apresenta o ProbeLog, um método para recuperar modelos de classificação que podem reconhecer um conceito-alvo, como "Cachorro", sem acesso aos metadados do modelo ou aos dados de treinamento. Diferentemente dos métodos de sondagem anteriores, o ProbeLog calcula um descritor para cada dimensão de saída (logit) de cada modelo, observando suas respostas em um conjunto fixo de entradas (sondas). Nosso método suporta tanto a recuperação baseada em logit ("encontrar mais logit como este") quanto a recuperação baseada em texto sem treinamento ("encontrar todos os logit correspondentes a cachorros"). Como as representações baseadas em sondagem requerem várias passagens custosas de feedforward pelo modelo, desenvolvemos um método, baseado em filtragem colaborativa, que reduz o custo de codificação de repositórios em 3 vezes. Demonstramos que o ProbeLog alcança alta precisão de recuperação, tanto em tarefas de busca do mundo real quanto em tarefas de busca refinada, e é escalável para repositórios de tamanho completo.

English

With the increasing numbers of publicly available models, there are probably pretrained, online models for most tasks users require. However, current model search methods are rudimentary, essentially a text-based search in the documentation, thus users cannot find the relevant models. This paper presents ProbeLog, a method for retrieving classification models that can recognize a target concept, such as "Dog", without access to model metadata or training data. Differently from previous probing methods, ProbeLog computes a descriptor for each output dimension (logit) of each model, by observing its responses on a fixed set of inputs (probes). Our method supports both logit-based retrieval ("find more logits like this") and zero-shot, text-based retrieval ("find all logits corresponding to dogs"). As probing-based representations require multiple costly feedforward passes through the model, we develop a method, based on collaborative filtering, that reduces the cost of encoding repositories by 3x. We demonstrate that ProbeLog achieves high retrieval accuracy, both in real-world and fine-grained search tasks and is scalable to full-size repositories.