Мультимодальные классификаторы для обнаружения объектов с открытым словарём

Multi-Modal Classifiers for Open-Vocabulary Object Detection

June 8, 2023

Авторы: Prannay Kaul, Weidi Xie, Andrew Zisserman

cs.AI

Аннотация

Цель данной работы — разработка модели для задачи обнаружения объектов с открытым словарем (Open-Vocabulary Object Detection, OVOD), которая способна обнаруживать объекты за пределами набора категорий, представленных на этапе обучения, что позволяет пользователю указывать интересующие категории на этапе вывода без необходимости переобучения модели. Мы используем стандартную архитектуру двухэтапного детектора объектов и исследуем три способа задания новых категорий: с помощью текстовых описаний, с помощью примеров изображений или с использованием комбинации этих двух подходов. Мы вносим три основных вклада: во-первых, мы используем большую языковую модель (LLM) для генерации информативных текстовых описаний классов объектов и создаем мощные текстовые классификаторы; во-вторых, применяем визуальный агрегатор для примеров изображений, который может обрабатывать любое количество изображений на входе, формируя визуальные классификаторы; и в-третьих, предлагаем простой метод для объединения информации из текстовых описаний и примеров изображений, что позволяет создать мультимодальный классификатор. При оценке на сложном бенчмарке LVIS для задачи обнаружения объектов с открытым словарем мы демонстрируем, что: (i) наши текстовые классификаторы превосходят все предыдущие работы в области OVOD; (ii) наши визуальные классификаторы показывают результаты, сопоставимые с текстовыми классификаторами в предыдущих работах; (iii) использование мультимодальных классификаторов дает лучшие результаты, чем использование каждого из подходов по отдельности; и, наконец, (iv) наши текстовые и мультимодальные классификаторы демонстрируют более высокую производительность, чем полностью обученный детектор.

English

The goal of this paper is open-vocabulary object detection (OVOD) x2013 building a model that can detect objects beyond the set of categories seen at training, thus enabling the user to specify categories of interest at inference without the need for model retraining. We adopt a standard two-stage object detector architecture, and explore three ways for specifying novel categories: via language descriptions, via image exemplars, or via a combination of the two. We make three contributions: first, we prompt a large language model (LLM) to generate informative language descriptions for object classes, and construct powerful text-based classifiers; second, we employ a visual aggregator on image exemplars that can ingest any number of images as input, forming vision-based classifiers; and third, we provide a simple method to fuse information from language descriptions and image exemplars, yielding a multi-modal classifier. When evaluating on the challenging LVIS open-vocabulary benchmark we demonstrate that: (i) our text-based classifiers outperform all previous OVOD works; (ii) our vision-based classifiers perform as well as text-based classifiers in prior work; (iii) using multi-modal classifiers perform better than either modality alone; and finally, (iv) our text-based and multi-modal classifiers yield better performance than a fully-supervised detector.