Los vectores de tarea son multimodales.

Task Vectors are Cross-Modal

October 29, 2024

Autores: Grace Luo, Trevor Darrell, Amir Bar

cs.AI

Resumen

Investigamos las representaciones internas de los modelos de visión y lenguaje (VLMs) y cómo codifican las representaciones de tareas. Consideramos tareas especificadas a través de ejemplos o instrucciones, utilizando entradas de texto o imagen. Sorprendentemente, descubrimos que tareas conceptualmente similares se asignan a representaciones vectoriales de tareas similares, independientemente de cómo estén especificadas. Nuestros hallazgos sugieren que para producir respuestas, los tokens en los VLMs atraviesan tres fases distintas: entrada, tarea y respuesta, un proceso que es consistente en diferentes modalidades y especificaciones. Los vectores de tarea que identificamos en los VLMs son lo suficientemente generales como para ser derivados en una modalidad (por ejemplo, texto) y transferidos a otra (por ejemplo, imagen). Además, descubrimos que combinar vectores de tarea basados en ejemplos e instrucciones produce mejores representaciones de tareas. En conjunto, estos conocimientos arrojan luz sobre los mecanismos subyacentes de los VLMs, particularmente su capacidad para representar tareas de manera compartida en diferentes modalidades y especificaciones de tareas. Página del proyecto: https://task-vectors-are-cross-modal.github.io.

English

We investigate the internal representations of vision-and-language models (VLMs) and how they encode task representations. We consider tasks specified through examples or instructions, using either text or image inputs. Surprisingly, we find that conceptually similar tasks are mapped to similar task vector representations, regardless of how they are specified. Our findings suggest that to output answers, tokens in VLMs undergo three distinct phases: input, task, and answer, a process which is consistent across different modalities and specifications. The task vectors we identify in VLMs are general enough to be derived in one modality (e.g., text) and transferred to another (e.g., image). Additionally, we find that ensembling exemplar and instruction based task vectors produce better task representations. Taken together, these insights shed light on the underlying mechanisms of VLMs, particularly their ability to represent tasks in a shared manner across different modalities and task specifications. Project page: https://task-vectors-are-cross-modal.github.io.