Мета-адаптивное дистиллирование промптов для визуального ответа на вопросы в условиях малого числа примеров
Meta-Adaptive Prompt Distillation for Few-Shot Visual Question Answering
June 7, 2025
Авторы: Akash Gupta, Amos Storkey, Mirella Lapata
cs.AI
Аннотация
Крупные мультимодальные модели (LMM) часто полагаются на обучение в контексте (ICL) для выполнения новых задач с минимальным контролем. Однако производительность ICL, особенно в небольших LMM, нестабильна и не всегда монотонно улучшается с увеличением количества примеров. Мы предполагаем, что это происходит из-за перегрузки модели дополнительной информацией, присутствующей в эмбеддингах изображений, которая не требуется для решения целевой задачи. Для решения этой проблемы мы предлагаем мета-обучающий подход, который предоставляет альтернативу для развития способности к обучению с малым количеством примеров в LMM, используя фиксированный набор мягких промптов, которые извлекаются из релевантных признаков изображений и могут адаптироваться во время тестирования с использованием нескольких примеров. Для облегчения этого процесса мы вводим модуль attention-mapper, который легко интегрируется с популярной архитектурой LLaVA v1.5 и совместно обучается с мягкими промптами, что позволяет адаптировать LMM к задачам в условиях ограниченного количества данных всего за несколько шагов градиентного спуска. Оценка на бенчмарке VL-ICL показывает, что наш метод стабильно превосходит ICL и связанные подходы к настройке промптов, даже при наличии искажений изображений, улучшая индукцию задач и рассуждения в задачах визуального ответа на вопросы.
English
Large Multimodal Models (LMMs) often rely on in-context learning (ICL) to
perform new tasks with minimal supervision. However, ICL performance,
especially in smaller LMMs, is inconsistent and does not always improve
monotonically with increasing examples. We hypothesize that this occurs due to
the LMM being overwhelmed by additional information present in the image
embeddings, which is not required for the downstream task. To address this, we
propose a meta-learning approach that provides an alternative for inducing
few-shot capabilities in LMMs, using a fixed set of soft prompts that are
distilled from task-relevant image features and can be adapted at test time
using a few examples. To facilitate this distillation, we introduce an
attention-mapper module that can be easily integrated with the popular LLaVA
v1.5 architecture and is jointly learned with soft prompts, enabling task
adaptation in LMMs under low-data regimes with just a few gradient steps.
Evaluation on the VL-ICL Bench shows that our method consistently outperforms
ICL and related prompt-tuning approaches, even under image perturbations,
improving task induction and reasoning across visual question answering tasks.