Multimodale taakvectoren maken veelvoudige multimodale in-context leren mogelijk.

Multimodal Task Vectors Enable Many-Shot Multimodal In-Context Learning

June 21, 2024

Auteurs: Brandon Huang, Chancharik Mitra, Assaf Arbelle, Leonid Karlinsky, Trevor Darrell, Roei Herzig

cs.AI

Samenvatting

Het recente succes van interleaved Large Multimodal Models (LMMs) in few-shot learning suggereert dat in-context learning (ICL) met veel voorbeelden veelbelovend kan zijn voor het leren van nieuwe taken. Dit many-shot multimodale ICL-schema heeft echter een cruciaal probleem: het wordt fundamenteel beperkt door de contextlengte van het model die tijdens het vooraf trainen is ingesteld. Het probleem is vooral prominent in het multimodale domein, dat zowel tekst als afbeeldingen verwerkt en daardoor extra tokens vereist. Dit motiveert de behoefte aan een multimodale methode om veel shots in minder tokens samen te persen zonder finetuning. In dit werk stellen we LMMs in staat om multimodaal, many-shot in-context learning uit te voeren door gebruik te maken van Multimodal Task Vectors (MTV)—compacte impliciete representaties van in-context voorbeelden die zijn samengeperst in de aandachtskoppen van het model. Specifiek tonen we eerst het bestaan van dergelijke MTV in LMMs aan en benutten we vervolgens deze geëxtraheerde MTV om many-shot in-context learning mogelijk te maken voor diverse visie-en-taal taken. Onze experimenten suggereren dat MTV kan schalen in prestaties met het aantal samengeperste shots en kan generaliseren naar vergelijkbare taken buiten het domein zonder extra contextlengte voor inferentie.

English

The recent success of interleaved Large Multimodal Models (LMMs) in few-shot learning suggests that in-context learning (ICL) with many examples can be promising for learning new tasks. However, this many-shot multimodal ICL setting has one crucial problem: it is fundamentally limited by the model's context length set at pretraining. The problem is especially prominent in the multimodal domain, which processes both text and images, requiring additional tokens. This motivates the need for a multimodal method to compress many shots into fewer tokens without finetuning. In this work, we enable LMMs to perform multimodal, many-shot in-context learning by leveraging Multimodal Task Vectors (MTV)--compact implicit representations of in-context examples compressed in the model's attention heads. Specifically, we first demonstrate the existence of such MTV in LMMs and then leverage these extracted MTV to enable many-shot in-context learning for various vision-and-language tasks. Our experiments suggest that MTV can scale in performance with the number of compressed shots and generalize to similar out-of-domain tasks without additional context length for inference.