Meta-Adaptieve Prompt Destillatie voor Few-Shot Visuele Vraagbeantwoording

Meta-Adaptive Prompt Distillation for Few-Shot Visual Question Answering

June 7, 2025

Auteurs: Akash Gupta, Amos Storkey, Mirella Lapata

cs.AI

Samenvatting

Grote Multimodale Modellen (LMMs) vertrouwen vaak op in-context leren (ICL) om nieuwe taken uit te voeren met minimale begeleiding. De prestaties van ICL, vooral bij kleinere LMMs, zijn echter inconsistent en verbeteren niet altijd monotoon met toenemende voorbeelden. We veronderstellen dat dit gebeurt omdat de LMM overweldigd wordt door de extra informatie in de beeld-embeddings, die niet nodig is voor de downstream-taak. Om dit aan te pakken, stellen we een meta-leerbenadering voor die een alternatief biedt voor het induceren van few-shot-mogelijkheden in LMMs, met behulp van een vaste set van zachte prompts die zijn gedistilleerd uit taakrelevante beeldkenmerken en die tijdens de testfase kunnen worden aangepast met behulp van enkele voorbeelden. Om deze distillatie te vergemakkelijken, introduceren we een aandacht-mapper-module die eenvoudig kan worden geïntegreerd met de populaire LLaVA v1.5-architectuur en die gezamenlijk wordt geleerd met zachte prompts, waardoor taakaanpassing in LMMs mogelijk wordt onder low-data-regimes met slechts enkele gradientstappen. Evaluatie op de VL-ICL Bench laat zien dat onze methode consistent beter presteert dan ICL en gerelateerde prompt-tuning-benaderingen, zelfs onder beeldverstoringen, en de taakinductie en redenering verbetert bij visuele vraag-antwoordtaken.

English

Large Multimodal Models (LMMs) often rely on in-context learning (ICL) to perform new tasks with minimal supervision. However, ICL performance, especially in smaller LMMs, is inconsistent and does not always improve monotonically with increasing examples. We hypothesize that this occurs due to the LMM being overwhelmed by additional information present in the image embeddings, which is not required for the downstream task. To address this, we propose a meta-learning approach that provides an alternative for inducing few-shot capabilities in LMMs, using a fixed set of soft prompts that are distilled from task-relevant image features and can be adapted at test time using a few examples. To facilitate this distillation, we introduce an attention-mapper module that can be easily integrated with the popular LLaVA v1.5 architecture and is jointly learned with soft prompts, enabling task adaptation in LMMs under low-data regimes with just a few gradient steps. Evaluation on the VL-ICL Bench shows that our method consistently outperforms ICL and related prompt-tuning approaches, even under image perturbations, improving task induction and reasoning across visual question answering tasks.