Может ли эту модель также распознать собак? Поиск модели с нулевым обучением на весах.

Can this Model Also Recognize Dogs? Zero-Shot Model Search from Weights

February 13, 2025

Авторы: Jonathan Kahana, Or Nathan, Eliahu Horwitz, Yedid Hoshen

cs.AI

Аннотация

С увеличением количества публично доступных моделей, вероятно, существуют предварительно обученные онлайн-модели для большинства задач, которые требуют пользователи. Однако текущие методы поиска моделей являются примитивными, в основном основаны на текстовом поиске в документации, поэтому пользователи не могут найти соответствующие модели. В данной статье представлен ProbeLog, метод для извлечения классификационных моделей, способных распознавать целевое понятие, такое как "Собака", без доступа к метаданным модели или обучающим данным. В отличие от предыдущих методов исследования, ProbeLog вычисляет дескриптор для каждого выходного измерения (логита) каждой модели, наблюдая за ее реакциями на фиксированный набор входных данных (зондов). Наш метод поддерживает как поиск на основе логитов ("найти больше логитов как этот"), так и нулевой поиск на основе текста ("найти все логиты, соответствующие собакам"). Поскольку представления на основе исследования требуют нескольких дорогостоящих прямых проходов через модель, мы разработали метод, основанный на коллаборативной фильтрации, который снижает стоимость кодирования репозиториев в 3 раза. Мы демонстрируем, что ProbeLog достигает высокой точности извлечения как в задачах поиска в реальном мире, так и в тонкозернистых задачах поиска, и масштабируется для репозиториев полного размера.

English

With the increasing numbers of publicly available models, there are probably pretrained, online models for most tasks users require. However, current model search methods are rudimentary, essentially a text-based search in the documentation, thus users cannot find the relevant models. This paper presents ProbeLog, a method for retrieving classification models that can recognize a target concept, such as "Dog", without access to model metadata or training data. Differently from previous probing methods, ProbeLog computes a descriptor for each output dimension (logit) of each model, by observing its responses on a fixed set of inputs (probes). Our method supports both logit-based retrieval ("find more logits like this") and zero-shot, text-based retrieval ("find all logits corresponding to dogs"). As probing-based representations require multiple costly feedforward passes through the model, we develop a method, based on collaborative filtering, that reduces the cost of encoding repositories by 3x. We demonstrate that ProbeLog achieves high retrieval accuracy, both in real-world and fine-grained search tasks and is scalable to full-size repositories.