Os vetores de tarefa são cruz-modais.

Task Vectors are Cross-Modal

October 29, 2024

Autores: Grace Luo, Trevor Darrell, Amir Bar

cs.AI

Resumo

Investigamos as representações internas dos modelos de visão e linguagem (VLMs) e como eles codificam representações de tarefas. Consideramos tarefas especificadas por meio de exemplos ou instruções, utilizando entradas de texto ou imagem. Surpreendentemente, descobrimos que tarefas conceitualmente semelhantes são mapeadas para representações vetoriais de tarefas semelhantes, independentemente de como são especificadas. Nossas descobertas sugerem que, para produzir respostas, os tokens nos VLMs passam por três fases distintas: entrada, tarefa e resposta, um processo que é consistente entre diferentes modalidades e especificações. Os vetores de tarefa que identificamos nos VLMs são suficientemente gerais para serem derivados em uma modalidade (por exemplo, texto) e transferidos para outra (por exemplo, imagem). Além disso, descobrimos que a combinação de vetores de tarefa baseados em exemplos e instruções produz representações de tarefas melhores. Em conjunto, essas percepções lançam luz sobre os mecanismos subjacentes dos VLMs, especialmente sua capacidade de representar tarefas de maneira compartilhada entre diferentes modalidades e especificações de tarefas. Página do projeto: https://task-vectors-are-cross-modal.github.io.

English

We investigate the internal representations of vision-and-language models (VLMs) and how they encode task representations. We consider tasks specified through examples or instructions, using either text or image inputs. Surprisingly, we find that conceptually similar tasks are mapped to similar task vector representations, regardless of how they are specified. Our findings suggest that to output answers, tokens in VLMs undergo three distinct phases: input, task, and answer, a process which is consistent across different modalities and specifications. The task vectors we identify in VLMs are general enough to be derived in one modality (e.g., text) and transferred to another (e.g., image). Additionally, we find that ensembling exemplar and instruction based task vectors produce better task representations. Taken together, these insights shed light on the underlying mechanisms of VLMs, particularly their ability to represent tasks in a shared manner across different modalities and task specifications. Project page: https://task-vectors-are-cross-modal.github.io.