Мультимодальные векторы задач обеспечивают обучение с множеством примеров в мультимодальном контексте.

Multimodal Task Vectors Enable Many-Shot Multimodal In-Context Learning

June 21, 2024

Авторы: Brandon Huang, Chancharik Mitra, Assaf Arbelle, Leonid Karlinsky, Trevor Darrell, Roei Herzig

cs.AI

Аннотация

Недавний успех чередующихся больших мультимодальных моделей (LMM) в обучении с малым количеством примеров подтверждает, что обучение в контексте (ICL) с большим количеством примеров может быть перспективным для изучения новых задач. Однако этот многократный мультимодальный ICL-подход сталкивается с одной критической проблемой: он фундаментально ограничен длиной контекста модели, установленной на этапе предварительного обучения. Проблема особенно заметна в мультимодальной области, которая обрабатывает как текст, так и изображения, требуя дополнительных токенов. Это мотивирует необходимость мультимодального метода для сжатия множества снимков в меньшее количество токенов без донастройки. В данной работе мы позволяем LMM выполнять мультимодальное, многократное обучение в контексте, используя мультимодальные векторы задач (MTV) - компактные неявные представления примеров в контексте, сжатые в внимательных головах модели. Конкретно, мы сначала демонстрируем существование таких MTV в LMM, а затем используем эти извлеченные MTV для обеспечения многократного обучения в контексте для различных задач, связанных с видением и языком. Наши эксперименты показывают, что MTV могут улучшаться в производительности с увеличением количества сжатых снимков и обобщаться на аналогичные задачи вне области без дополнительной длины контекста для вывода.

English

The recent success of interleaved Large Multimodal Models (LMMs) in few-shot learning suggests that in-context learning (ICL) with many examples can be promising for learning new tasks. However, this many-shot multimodal ICL setting has one crucial problem: it is fundamentally limited by the model's context length set at pretraining. The problem is especially prominent in the multimodal domain, which processes both text and images, requiring additional tokens. This motivates the need for a multimodal method to compress many shots into fewer tokens without finetuning. In this work, we enable LMMs to perform multimodal, many-shot in-context learning by leveraging Multimodal Task Vectors (MTV)--compact implicit representations of in-context examples compressed in the model's attention heads. Specifically, we first demonstrate the existence of such MTV in LMMs and then leverage these extracted MTV to enable many-shot in-context learning for various vision-and-language tasks. Our experiments suggest that MTV can scale in performance with the number of compressed shots and generalize to similar out-of-domain tasks without additional context length for inference.