Les vecteurs de tâches multimodaux permettent un apprentissage multimodal en contexte avec de nombreux exemples

Multimodal Task Vectors Enable Many-Shot Multimodal In-Context Learning

June 21, 2024

Auteurs: Brandon Huang, Chancharik Mitra, Assaf Arbelle, Leonid Karlinsky, Trevor Darrell, Roei Herzig

cs.AI

Résumé

Le succès récent des modèles multimodaux de grande taille (LMMs) entrelacés dans l'apprentissage en few-shot suggère que l'apprentissage en contexte (ICL) avec de nombreux exemples peut être prometteur pour l'acquisition de nouvelles tâches. Cependant, ce cadre d'ICL multimodal many-shot présente un problème crucial : il est fondamentalement limité par la longueur de contexte du modèle définie lors du pré-entraînement. Ce problème est particulièrement marqué dans le domaine multimodal, qui traite à la fois du texte et des images, nécessitant des tokens supplémentaires. Cela motive la nécessité d'une méthode multimodale pour compresser de nombreux exemples en moins de tokens sans ajustement fin. Dans ce travail, nous permettons aux LMMs d'effectuer un apprentissage en contexte multimodal many-shot en exploitant les Vecteurs de Tâches Multimodaux (MTV) -- des représentations implicites compactes des exemples en contexte compressées dans les têtes d'attention du modèle. Plus précisément, nous démontrons d'abord l'existence de ces MTV dans les LMMs, puis nous exploitons ces MTV extraits pour permettre un apprentissage en contexte many-shot pour diverses tâches visuelles et linguistiques. Nos expériences suggèrent que les MTV peuvent améliorer leurs performances avec le nombre d'exemples compressés et généraliser à des tâches similaires hors domaine sans nécessiter de longueur de contexte supplémentaire pour l'inférence.

English

The recent success of interleaved Large Multimodal Models (LMMs) in few-shot learning suggests that in-context learning (ICL) with many examples can be promising for learning new tasks. However, this many-shot multimodal ICL setting has one crucial problem: it is fundamentally limited by the model's context length set at pretraining. The problem is especially prominent in the multimodal domain, which processes both text and images, requiring additional tokens. This motivates the need for a multimodal method to compress many shots into fewer tokens without finetuning. In this work, we enable LMMs to perform multimodal, many-shot in-context learning by leveraging Multimodal Task Vectors (MTV)--compact implicit representations of in-context examples compressed in the model's attention heads. Specifically, we first demonstrate the existence of such MTV in LMMs and then leverage these extracted MTV to enable many-shot in-context learning for various vision-and-language tasks. Our experiments suggest that MTV can scale in performance with the number of compressed shots and generalize to similar out-of-domain tasks without additional context length for inference.