Meta-Distilação Adaptativa de Prompts para Resposta Visual a Perguntas com Poucos Exemplos

Meta-Adaptive Prompt Distillation for Few-Shot Visual Question Answering

June 7, 2025

Autores: Akash Gupta, Amos Storkey, Mirella Lapata

cs.AI

Resumo

Modelos Multimodais de Grande Escala (LMMs) frequentemente dependem da aprendizagem em contexto (ICL) para realizar novas tarefas com supervisão mínima. No entanto, o desempenho da ICL, especialmente em LMMs menores, é inconsistente e nem sempre melhora de forma monotônica com o aumento de exemplos. Nossa hipótese é que isso ocorre porque o LMM fica sobrecarregado com informações adicionais presentes nos embeddings de imagem, que não são necessárias para a tarefa subsequente. Para abordar esse problema, propomos uma abordagem de meta-aprendizagem que oferece uma alternativa para induzir capacidades de poucos exemplos em LMMs, utilizando um conjunto fixo de prompts suaves que são destilados a partir de características de imagem relevantes para a tarefa e podem ser adaptados no momento do teste usando poucos exemplos. Para facilitar essa destilação, introduzimos um módulo de mapeamento de atenção que pode ser facilmente integrado à popular arquitetura LLaVA v1.5 e é aprendido em conjunto com os prompts suaves, permitindo a adaptação de tarefas em LMMs em regimes de baixo volume de dados com apenas alguns passos de gradiente. A avaliação no VL-ICL Bench mostra que nosso método supera consistentemente a ICL e abordagens relacionadas de ajuste de prompt, mesmo sob perturbações de imagem, melhorando a indução de tarefas e o raciocínio em tarefas de resposta a perguntas visuais.

English

Large Multimodal Models (LMMs) often rely on in-context learning (ICL) to perform new tasks with minimal supervision. However, ICL performance, especially in smaller LMMs, is inconsistent and does not always improve monotonically with increasing examples. We hypothesize that this occurs due to the LMM being overwhelmed by additional information present in the image embeddings, which is not required for the downstream task. To address this, we propose a meta-learning approach that provides an alternative for inducing few-shot capabilities in LMMs, using a fixed set of soft prompts that are distilled from task-relevant image features and can be adapted at test time using a few examples. To facilitate this distillation, we introduce an attention-mapper module that can be easily integrated with the popular LLaVA v1.5 architecture and is jointly learned with soft prompts, enabling task adaptation in LMMs under low-data regimes with just a few gradient steps. Evaluation on the VL-ICL Bench shows that our method consistently outperforms ICL and related prompt-tuning approaches, even under image perturbations, improving task induction and reasoning across visual question answering tasks.