Transferencia de Conocimiento entre Modalidades con Supervisión de Lenguaje Natural

Knowledge Transfer Across Modalities with Natural Language Supervision

November 23, 2024

Autores: Carlo Alberto Barbano, Luca Molinaro, Emanuele Aiello, Marco Grangetto

cs.AI

Resumen

Presentamos una forma de aprender conceptos novedosos utilizando únicamente su descripción textual. Llamamos a este método Transferencia de Conocimiento. De manera similar a la percepción humana, aprovechamos la interacción entre modalidades para introducir nuevos conceptos. Planteamos la hipótesis de que en un codificador visual pre-entrenado ya se han aprendido suficientes características de bajo nivel (por ejemplo, forma, apariencia, color) que pueden utilizarse para describir conceptos de alto nivel previamente desconocidos. Al proporcionar una descripción textual del concepto novedoso, nuestro método funciona al alinear las características de bajo nivel conocidas del codificador visual con su descripción textual de alto nivel. Mostramos que la Transferencia de Conocimiento puede introducir con éxito conceptos novedosos en modelos multimodales, de manera muy eficiente, al requerir únicamente una descripción del concepto objetivo. Nuestro enfoque es compatible tanto con codificadores textuales y visuales separados (por ejemplo, CLIP) como con parámetros compartidos entre modalidades. También demostramos que, siguiendo el mismo principio, la Transferencia de Conocimiento puede mejorar los conceptos ya conocidos por el modelo. Al aprovechar la Transferencia de Conocimiento, mejoramos el rendimiento de cero disparos en diferentes tareas como clasificación, segmentación, recuperación de imágenes-texto y descripción de imágenes.

English

We present a way to learn novel concepts by only using their textual description. We call this method Knowledge Transfer. Similarly to human perception, we leverage cross-modal interaction to introduce new concepts. We hypothesize that in a pre-trained visual encoder there are enough low-level features already learned (e.g. shape, appearance, color) that can be used to describe previously unknown high-level concepts. Provided with a textual description of the novel concept, our method works by aligning the known low-level features of the visual encoder to its high-level textual description. We show that Knowledge Transfer can successfully introduce novel concepts in multimodal models, in a very efficient manner, by only requiring a single description of the target concept. Our approach is compatible with both separate textual and visual encoders (e.g. CLIP) and shared parameters across modalities. We also show that, following the same principle, Knowledge Transfer can improve concepts already known by the model. Leveraging Knowledge Transfer we improve zero-shot performance across different tasks such as classification, segmentation, image-text retrieval, and captioning.