Distillazione Meta-Adattiva del Prompt per il Visual Question Answering con Pochi Esempi

Meta-Adaptive Prompt Distillation for Few-Shot Visual Question Answering

June 7, 2025

Autori: Akash Gupta, Amos Storkey, Mirella Lapata

cs.AI

Abstract

I Large Multimodal Models (LMM) spesso si affidano all'apprendimento in contesto (In-Context Learning, ICL) per eseguire nuovi compiti con una supervisione minima. Tuttavia, le prestazioni dell'ICL, specialmente nei LMM più piccoli, sono inconsistenti e non migliorano sempre in modo monotono all'aumentare degli esempi. Ipotesizziamo che ciò avvenga perché il LMM viene sopraffatto dalle informazioni aggiuntive presenti negli embedding delle immagini, che non sono necessarie per il compito downstream. Per affrontare questo problema, proponiamo un approccio di meta-apprendimento che fornisce un'alternativa per indurre capacità few-shot nei LMM, utilizzando un insieme fisso di soft prompt distillati da caratteristiche delle immagini rilevanti per il compito e che possono essere adattati al momento del test utilizzando pochi esempi. Per facilitare questa distillazione, introduciamo un modulo attention-mapper che può essere facilmente integrato con la popolare architettura LLaVA v1.5 e viene appreso congiuntamente ai soft prompt, consentendo l'adattamento ai compiti nei LMM in regimi di bassa disponibilità di dati con pochi passaggi di gradiente. La valutazione su VL-ICL Bench dimostra che il nostro metodo supera costantemente l'ICL e approcci correlati di prompt-tuning, anche in presenza di perturbazioni delle immagini, migliorando l'induzione dei compiti e il ragionamento nei task di risposta a domande visive.

English

Large Multimodal Models (LMMs) often rely on in-context learning (ICL) to perform new tasks with minimal supervision. However, ICL performance, especially in smaller LMMs, is inconsistent and does not always improve monotonically with increasing examples. We hypothesize that this occurs due to the LMM being overwhelmed by additional information present in the image embeddings, which is not required for the downstream task. To address this, we propose a meta-learning approach that provides an alternative for inducing few-shot capabilities in LMMs, using a fixed set of soft prompts that are distilled from task-relevant image features and can be adapted at test time using a few examples. To facilitate this distillation, we introduce an attention-mapper module that can be easily integrated with the popular LLaVA v1.5 architecture and is jointly learned with soft prompts, enabling task adaptation in LMMs under low-data regimes with just a few gradient steps. Evaluation on the VL-ICL Bench shows that our method consistently outperforms ICL and related prompt-tuning approaches, even under image perturbations, improving task induction and reasoning across visual question answering tasks.