Transferência de Conhecimento entre Modalidades com Supervisão de Linguagem Natural

Knowledge Transfer Across Modalities with Natural Language Supervision

November 23, 2024

Autores: Carlo Alberto Barbano, Luca Molinaro, Emanuele Aiello, Marco Grangetto

cs.AI

Resumo

Apresentamos uma maneira de aprender conceitos novos usando apenas suas descrições textuais. Chamamos esse método de Transferência de Conhecimento. De forma semelhante à percepção humana, aproveitamos a interação entre modalidades para introduzir novos conceitos. Nossa hipótese é que em um codificador visual pré-treinado existem características de baixo nível já aprendidas o suficiente (por exemplo, forma, aparência, cor) que podem ser usadas para descrever conceitos de alto nível previamente desconhecidos. Ao ser fornecido com uma descrição textual do conceito novo, nosso método funciona alinhando as características de baixo nível conhecidas do codificador visual com sua descrição textual de alto nível. Mostramos que a Transferência de Conhecimento pode introduzir com sucesso conceitos novos em modelos multimodais, de maneira muito eficiente, exigindo apenas uma descrição do conceito alvo. Nossa abordagem é compatível tanto com codificadores textuais e visuais separados (por exemplo, CLIP) quanto com parâmetros compartilhados entre modalidades. Também demonstramos que, seguindo o mesmo princípio, a Transferência de Conhecimento pode aprimorar conceitos já conhecidos pelo modelo. Aproveitando a Transferência de Conhecimento, melhoramos o desempenho de zero-shot em diferentes tarefas, como classificação, segmentação, recuperação de imagem-texto e legendagem.

English

We present a way to learn novel concepts by only using their textual description. We call this method Knowledge Transfer. Similarly to human perception, we leverage cross-modal interaction to introduce new concepts. We hypothesize that in a pre-trained visual encoder there are enough low-level features already learned (e.g. shape, appearance, color) that can be used to describe previously unknown high-level concepts. Provided with a textual description of the novel concept, our method works by aligning the known low-level features of the visual encoder to its high-level textual description. We show that Knowledge Transfer can successfully introduce novel concepts in multimodal models, in a very efficient manner, by only requiring a single description of the target concept. Our approach is compatible with both separate textual and visual encoders (e.g. CLIP) and shared parameters across modalities. We also show that, following the same principle, Knowledge Transfer can improve concepts already known by the model. Leveraging Knowledge Transfer we improve zero-shot performance across different tasks such as classification, segmentation, image-text retrieval, and captioning.