Distilación de Prompts Meta-Adaptativa para Respuesta Visual a Preguntas con Pocos Ejemplos

Meta-Adaptive Prompt Distillation for Few-Shot Visual Question Answering

June 7, 2025

Autores: Akash Gupta, Amos Storkey, Mirella Lapata

cs.AI

Resumen

Los Modelos Multimodales Grandes (LMMs, por sus siglas en inglés) suelen depender del aprendizaje en contexto (ICL, por sus siglas en inglés) para realizar nuevas tareas con una supervisión mínima. Sin embargo, el rendimiento del ICL, especialmente en LMMs más pequeños, es inconsistente y no siempre mejora de manera monótona con el aumento de ejemplos. Nuestra hipótesis es que esto ocurre porque el LMM se ve abrumado por la información adicional presente en los embeddings de imágenes, que no es necesaria para la tarea específica. Para abordar esto, proponemos un enfoque de metaaprendizaje que ofrece una alternativa para inducir capacidades de pocos ejemplos en LMMs, utilizando un conjunto fijo de prompts suaves que se destilan a partir de características de imágenes relevantes para la tarea y que pueden adaptarse en tiempo de prueba utilizando unos pocos ejemplos. Para facilitar esta destilación, introducimos un módulo de mapeo de atención que puede integrarse fácilmente con la popular arquitectura LLaVA v1.5 y se aprende conjuntamente con los prompts suaves, permitiendo la adaptación de tareas en LMMs en regímenes de pocos datos con solo unos pocos pasos de gradiente. La evaluación en el VL-ICL Bench muestra que nuestro método supera consistentemente al ICL y a enfoques relacionados de ajuste de prompts, incluso bajo perturbaciones de imágenes, mejorando la inducción de tareas y el razonamiento en tareas de respuesta a preguntas visuales.

English

Large Multimodal Models (LMMs) often rely on in-context learning (ICL) to perform new tasks with minimal supervision. However, ICL performance, especially in smaller LMMs, is inconsistent and does not always improve monotonically with increasing examples. We hypothesize that this occurs due to the LMM being overwhelmed by additional information present in the image embeddings, which is not required for the downstream task. To address this, we propose a meta-learning approach that provides an alternative for inducing few-shot capabilities in LMMs, using a fixed set of soft prompts that are distilled from task-relevant image features and can be adapted at test time using a few examples. To facilitate this distillation, we introduce an attention-mapper module that can be easily integrated with the popular LLaVA v1.5 architecture and is jointly learned with soft prompts, enabling task adaptation in LMMs under low-data regimes with just a few gradient steps. Evaluation on the VL-ICL Bench shows that our method consistently outperforms ICL and related prompt-tuning approaches, even under image perturbations, improving task induction and reasoning across visual question answering tasks.