Передача знаний между модальностями с натуральным языковым надзором

Knowledge Transfer Across Modalities with Natural Language Supervision

November 23, 2024

Авторы: Carlo Alberto Barbano, Luca Molinaro, Emanuele Aiello, Marco Grangetto

cs.AI

Аннотация

Мы представляем способ изучения новых концепций, используя только их текстовое описание. Мы называем этот метод Передача Знаний. Аналогично человеческому восприятию, мы используем кросс-модальное взаимодействие для введения новых концепций. Мы предполагаем, что в предварительно обученном визуальном кодировщике уже достаточно изученных низкоуровневых характеристик (например, форма, внешний вид, цвет), которые можно использовать для описания ранее неизвестных высокоуровневых концепций. Предоставленное текстовое описание нового концепта, наш метод работает путем выравнивания известных низкоуровневых характеристик визуального кодировщика с его высокоуровневым текстовым описанием. Мы показываем, что Передача Знаний успешно может ввести новые концепции в мультимодельные модели очень эффективным способом, требуя только одного описания целевого концепта. Наш подход совместим как с отдельными текстовыми и визуальными кодировщиками (например, CLIP), так и с общими параметрами между модальностями. Мы также показываем, что, следуя тому же принципу, Передача Знаний может улучшить концепции, уже известные модели. Используя Передачу Знаний, мы улучшаем нулевую производительность на различных задачах, таких как классификация, сегментация, поиск изображений по тексту и подписывание.

English

We present a way to learn novel concepts by only using their textual description. We call this method Knowledge Transfer. Similarly to human perception, we leverage cross-modal interaction to introduce new concepts. We hypothesize that in a pre-trained visual encoder there are enough low-level features already learned (e.g. shape, appearance, color) that can be used to describe previously unknown high-level concepts. Provided with a textual description of the novel concept, our method works by aligning the known low-level features of the visual encoder to its high-level textual description. We show that Knowledge Transfer can successfully introduce novel concepts in multimodal models, in a very efficient manner, by only requiring a single description of the target concept. Our approach is compatible with both separate textual and visual encoders (e.g. CLIP) and shared parameters across modalities. We also show that, following the same principle, Knowledge Transfer can improve concepts already known by the model. Leveraging Knowledge Transfer we improve zero-shot performance across different tasks such as classification, segmentation, image-text retrieval, and captioning.