Kennisoverdracht tussen modaliteiten met toezicht in natuurlijke taal

Knowledge Transfer Across Modalities with Natural Language Supervision

November 23, 2024

Auteurs: Carlo Alberto Barbano, Luca Molinaro, Emanuele Aiello, Marco Grangetto

cs.AI

Samenvatting

We presenteren een manier om nieuwe concepten te leren door alleen hun tekstuele beschrijving te gebruiken. We noemen deze methode Kennisoverdracht. Net als bij menselijke perceptie maken we gebruik van crossmodale interactie om nieuwe concepten te introduceren. We veronderstellen dat in een vooraf getrainde visuele encoder er al genoeg laag-niveau kenmerken zijn geleerd (bijv. vorm, uiterlijk, kleur) die gebruikt kunnen worden om eerder onbekende hoog-niveau concepten te beschrijven. Met een tekstuele beschrijving van het nieuwe concept werkt onze methode door de bekende laag-niveau kenmerken van de visuele encoder af te stemmen op de hoog-niveau tekstuele beschrijving. We tonen aan dat Kennisoverdracht met succes nieuwe concepten kan introduceren in multimodale modellen, op een zeer efficiënte manier, door slechts een enkele beschrijving van het doelconcept te vereisen. Onze benadering is compatibel met zowel afzonderlijke tekstuele en visuele encoders (bijv. CLIP) als gedeelde parameters tussen modaliteiten. We tonen ook aan dat, volgens hetzelfde principe, Kennisoverdracht concepten die al bekend zijn bij het model kan verbeteren. Door Kennisoverdracht te benutten verbeteren we de zero-shot prestaties over verschillende taken zoals classificatie, segmentatie, beeld-tekst ophalen en bijschriften.

English

We present a way to learn novel concepts by only using their textual description. We call this method Knowledge Transfer. Similarly to human perception, we leverage cross-modal interaction to introduce new concepts. We hypothesize that in a pre-trained visual encoder there are enough low-level features already learned (e.g. shape, appearance, color) that can be used to describe previously unknown high-level concepts. Provided with a textual description of the novel concept, our method works by aligning the known low-level features of the visual encoder to its high-level textual description. We show that Knowledge Transfer can successfully introduce novel concepts in multimodal models, in a very efficient manner, by only requiring a single description of the target concept. Our approach is compatible with both separate textual and visual encoders (e.g. CLIP) and shared parameters across modalities. We also show that, following the same principle, Knowledge Transfer can improve concepts already known by the model. Leveraging Knowledge Transfer we improve zero-shot performance across different tasks such as classification, segmentation, image-text retrieval, and captioning.