Multimodale Aufgabenvektoren ermöglichen das Lernen von multimodalen Kontexten mit vielen Beispielen.

Multimodal Task Vectors Enable Many-Shot Multimodal In-Context Learning

June 21, 2024

Autoren: Brandon Huang, Chancharik Mitra, Assaf Arbelle, Leonid Karlinsky, Trevor Darrell, Roei Herzig

cs.AI

Zusammenfassung

Der jüngste Erfolg von interleaved Large Multimodal Models (LMMs) im Few-Shot-Learning legt nahe, dass das Lernen im Kontext (ICL) mit vielen Beispielen vielversprechend sein kann, um neue Aufgaben zu erlernen. Allerdings hat dieses Many-Shot-Multimodal-ICL-Setting ein entscheidendes Problem: Es ist grundsätzlich durch die Länge des Kontexts begrenzt, die beim Pretraining des Modells festgelegt ist. Das Problem ist insbesondere im Multimodalbereich, der sowohl Texte als auch Bilder verarbeitet und zusätzliche Tokens erfordert, besonders ausgeprägt. Dies macht die Notwendigkeit eines multimodalen Verfahrens zur Kompression vieler Aufnahmen in weniger Tokens ohne Feinabstimmung deutlich. In dieser Arbeit ermöglichen wir es LMMs, multimodales, many-shot In-Context-Learning durch die Nutzung von Multimodal Task Vectors (MTV) zu realisieren - kompakte implizite Repräsentationen von in-Kontext-Beispielen, die in den Aufmerksamkeitsköpfen des Modells komprimiert sind. Konkret zeigen wir zunächst die Existenz solcher MTV in LMMs auf und nutzen dann diese extrahierten MTV, um many-shot In-Context-Learning für verschiedene Vision-and-Language-Aufgaben zu ermöglichen. Unsere Experimente legen nahe, dass MTV in der Leistung mit der Anzahl der komprimierten Aufnahmen skalieren kann und sich auf ähnliche Out-of-Domain-Aufgaben generalisieren lässt, ohne zusätzliche Kontextlänge für die Inferenz.

English

The recent success of interleaved Large Multimodal Models (LMMs) in few-shot learning suggests that in-context learning (ICL) with many examples can be promising for learning new tasks. However, this many-shot multimodal ICL setting has one crucial problem: it is fundamentally limited by the model's context length set at pretraining. The problem is especially prominent in the multimodal domain, which processes both text and images, requiring additional tokens. This motivates the need for a multimodal method to compress many shots into fewer tokens without finetuning. In this work, we enable LMMs to perform multimodal, many-shot in-context learning by leveraging Multimodal Task Vectors (MTV)--compact implicit representations of in-context examples compressed in the model's attention heads. Specifically, we first demonstrate the existence of such MTV in LMMs and then leverage these extracted MTV to enable many-shot in-context learning for various vision-and-language tasks. Our experiments suggest that MTV can scale in performance with the number of compressed shots and generalize to similar out-of-domain tasks without additional context length for inference.