Vetores de Tarefa Multimodal Permitem Aprendizagem Multimodal em Contexto de Muitas Instâncias

Multimodal Task Vectors Enable Many-Shot Multimodal In-Context Learning

June 21, 2024

Autores: Brandon Huang, Chancharik Mitra, Assaf Arbelle, Leonid Karlinsky, Trevor Darrell, Roei Herzig

cs.AI

Resumo

O recente sucesso dos Grandes Modelos Multimodais Interligados (LMMs) na aprendizagem de poucas amostras sugere que a aprendizagem em contexto (ICL) com muitos exemplos pode ser promissora para aprender novas tarefas. No entanto, essa configuração multimodal ICL de muitas amostras enfrenta um problema crucial: é fundamentalmente limitada pelo comprimento do contexto do modelo definido no pré-treinamento. O problema é especialmente proeminente no domínio multimodal, que processa tanto texto quanto imagens, exigindo tokens adicionais. Isso motiva a necessidade de um método multimodal para comprimir muitas amostras em menos tokens sem ajuste fino. Neste trabalho, habilitamos os LMMs a realizar aprendizagem multimodal de muitas amostras em contexto, aproveitando Vetores de Tarefa Multimodal (MTV) - representações implícitas compactas de exemplos em contexto comprimidos nas camadas de atenção do modelo. Especificamente, primeiro demonstramos a existência de tais MTV nos LMMs e então aproveitamos esses MTV extraídos para habilitar a aprendizagem de muitas amostras em contexto para várias tarefas de visão e linguagem. Nossos experimentos sugerem que os MTV podem escalar em desempenho com o número de amostras comprimidas e generalizar para tarefas semelhantes fora do domínio sem comprimento de contexto adicional para inferência.

English

The recent success of interleaved Large Multimodal Models (LMMs) in few-shot learning suggests that in-context learning (ICL) with many examples can be promising for learning new tasks. However, this many-shot multimodal ICL setting has one crucial problem: it is fundamentally limited by the model's context length set at pretraining. The problem is especially prominent in the multimodal domain, which processes both text and images, requiring additional tokens. This motivates the need for a multimodal method to compress many shots into fewer tokens without finetuning. In this work, we enable LMMs to perform multimodal, many-shot in-context learning by leveraging Multimodal Task Vectors (MTV)--compact implicit representations of in-context examples compressed in the model's attention heads. Specifically, we first demonstrate the existence of such MTV in LMMs and then leverage these extracted MTV to enable many-shot in-context learning for various vision-and-language tasks. Our experiments suggest that MTV can scale in performance with the number of compressed shots and generalize to similar out-of-domain tasks without additional context length for inference.