Los vectores de tareas multimodales permiten el aprendizaje multimodal en contexto con múltiples ejemplos.

Multimodal Task Vectors Enable Many-Shot Multimodal In-Context Learning

June 21, 2024

Autores: Brandon Huang, Chancharik Mitra, Assaf Arbelle, Leonid Karlinsky, Trevor Darrell, Roei Herzig

cs.AI

Resumen

El reciente éxito de los Modelos Multimodales Grandes intercalados (LMMs) en el aprendizaje con pocos ejemplos sugiere que el aprendizaje en contexto (ICL) con muchos ejemplos puede ser prometedor para aprender nuevas tareas. Sin embargo, este enfoque multimodal de ICL con muchos ejemplos tiene un problema crucial: está fundamentalmente limitado por la longitud de contexto del modelo establecida durante el preentrenamiento. Este problema es especialmente destacado en el dominio multimodal, que procesa tanto texto como imágenes, requiriendo tokens adicionales. Esto motiva la necesidad de un método multimodal para comprimir muchos ejemplos en menos tokens sin necesidad de ajuste fino. En este trabajo, habilitamos a los LMMs para realizar aprendizaje en contexto multimodal con muchos ejemplos mediante el uso de Vectores de Tarea Multimodales (MTV, por sus siglas en inglés): representaciones implícitas compactas de ejemplos en contexto comprimidos en las cabezas de atención del modelo. Específicamente, primero demostramos la existencia de dichos MTV en los LMMs y luego aprovechamos estos MTV extraídos para habilitar el aprendizaje en contexto con muchos ejemplos en diversas tareas de visión y lenguaje. Nuestros experimentos sugieren que los MTV pueden escalar en rendimiento con el número de ejemplos comprimidos y generalizar a tareas similares fuera del dominio sin necesidad de longitud de contexto adicional para la inferencia.

English

The recent success of interleaved Large Multimodal Models (LMMs) in few-shot learning suggests that in-context learning (ICL) with many examples can be promising for learning new tasks. However, this many-shot multimodal ICL setting has one crucial problem: it is fundamentally limited by the model's context length set at pretraining. The problem is especially prominent in the multimodal domain, which processes both text and images, requiring additional tokens. This motivates the need for a multimodal method to compress many shots into fewer tokens without finetuning. In this work, we enable LMMs to perform multimodal, many-shot in-context learning by leveraging Multimodal Task Vectors (MTV)--compact implicit representations of in-context examples compressed in the model's attention heads. Specifically, we first demonstrate the existence of such MTV in LMMs and then leverage these extracted MTV to enable many-shot in-context learning for various vision-and-language tasks. Our experiments suggest that MTV can scale in performance with the number of compressed shots and generalize to similar out-of-domain tasks without additional context length for inference.