Векторы задач являются кросс-модальными.

Task Vectors are Cross-Modal

October 29, 2024

Авторы: Grace Luo, Trevor Darrell, Amir Bar

cs.AI

Аннотация

Мы исследуем внутренние представления моделей вид-язык (VLM) и способы кодирования представлений задач. Мы рассматриваем задачи, определенные через примеры или инструкции, используя текстовые или изображенческие входные данные. Удивительно, что мы обнаружили, что концептуально схожие задачи отображаются в схожие векторные представления задач, независимо от их спецификации. Наши результаты указывают на то, что для вывода ответов токены в моделях VLM проходят три различные фазы: ввод, задача и ответ, процесс, который согласуется в различных модальностях и спецификациях. Выявленные нами векторы задач в моделях VLM достаточно общие, чтобы быть полученными в одной модальности (например, тексте) и переданными в другую (например, изображения). Кроме того, мы обнаружили, что объединение векторов задач на основе образцов и инструкций дает лучшие представления задач. Все вместе эти исследования проливают свет на основные механизмы VLM, особенно их способность представлять задачи общим образом в различных модальностях и спецификациях задач. Страница проекта: https://task-vectors-are-cross-modal.github.io.

English

We investigate the internal representations of vision-and-language models (VLMs) and how they encode task representations. We consider tasks specified through examples or instructions, using either text or image inputs. Surprisingly, we find that conceptually similar tasks are mapped to similar task vector representations, regardless of how they are specified. Our findings suggest that to output answers, tokens in VLMs undergo three distinct phases: input, task, and answer, a process which is consistent across different modalities and specifications. The task vectors we identify in VLMs are general enough to be derived in one modality (e.g., text) and transferred to another (e.g., image). Additionally, we find that ensembling exemplar and instruction based task vectors produce better task representations. Taken together, these insights shed light on the underlying mechanisms of VLMs, particularly their ability to represent tasks in a shared manner across different modalities and task specifications. Project page: https://task-vectors-are-cross-modal.github.io.