I vettori di attività multimodali abilitano l'apprendimento in contesto multimodale con molti esempi

Multimodal Task Vectors Enable Many-Shot Multimodal In-Context Learning

June 21, 2024

Autori: Brandon Huang, Chancharik Mitra, Assaf Arbelle, Leonid Karlinsky, Trevor Darrell, Roei Herzig

cs.AI

Abstract

Il recente successo dei modelli multimodali di grandi dimensioni intervallati (LMM) nell'apprendimento few-shot suggerisce che l'apprendimento in contesto (ICL) con molti esempi possa essere promettente per l'apprendimento di nuovi compiti. Tuttavia, questa configurazione di ICL multimodale many-shot presenta un problema cruciale: è fondamentalmente limitata dalla lunghezza del contesto del modello impostata durante il pre-training. Il problema è particolarmente evidente nel dominio multimodale, che elabora sia testo che immagini, richiedendo token aggiuntivi. Ciò motiva la necessità di un metodo multimodale per comprimere molti esempi in un numero inferiore di token senza fine-tuning. In questo lavoro, abilitiamo gli LMM a eseguire l'apprendimento in contesto multimodale many-shot sfruttando i Vettori di Compito Multimodali (MTV)—rappresentazioni implicite compatte degli esempi in contesto compressi nelle teste di attenzione del modello. Nello specifico, dimostriamo prima l'esistenza di tali MTV negli LMM e poi sfruttiamo questi MTV estratti per abilitare l'apprendimento in contesto many-shot per vari compiti di visione e linguaggio. I nostri esperimenti suggeriscono che gli MTV possono scalare in termini di prestazioni con il numero di esempi compressi e generalizzare a compiti simili fuori dominio senza ulteriore lunghezza del contesto per l'inferenza.

English

The recent success of interleaved Large Multimodal Models (LMMs) in few-shot learning suggests that in-context learning (ICL) with many examples can be promising for learning new tasks. However, this many-shot multimodal ICL setting has one crucial problem: it is fundamentally limited by the model's context length set at pretraining. The problem is especially prominent in the multimodal domain, which processes both text and images, requiring additional tokens. This motivates the need for a multimodal method to compress many shots into fewer tokens without finetuning. In this work, we enable LMMs to perform multimodal, many-shot in-context learning by leveraging Multimodal Task Vectors (MTV)--compact implicit representations of in-context examples compressed in the model's attention heads. Specifically, we first demonstrate the existence of such MTV in LMMs and then leverage these extracted MTV to enable many-shot in-context learning for various vision-and-language tasks. Our experiments suggest that MTV can scale in performance with the number of compressed shots and generalize to similar out-of-domain tasks without additional context length for inference.