TransAgent: Перенос видео-языковых базовых моделей с гетерогенным сотрудничеством агентов

TransAgent: Transfer Vision-Language Foundation Models with Heterogeneous Agent Collaboration

October 16, 2024

Авторы: Yiwei Guo, Shaobin Zhuang, Kunchang Li, Yu Qiao, Yali Wang

cs.AI

Аннотация

Модели основанные на визуально-языковых основах (такие как CLIP) недавно продемонстрировали свою мощь в обучении передачи, благодаря предварительному обучению изображений и текста в большом масштабе. Однако данные целевой области в последующих задачах могут значительно отличаться от этапа предварительного обучения, что затрудняет обобщение такой единственной модели. В качестве альтернативы существует широкий спектр экспертных моделей, содержащих разнообразные знания о визуальном и/или языковом уровнях, предварительно обученные на различных модальностях, задачах, сетях и наборах данных. К сожалению, эти модели являются "изолированными агентами" с гетерогенными структурами, и как интегрировать их знания для обобщения моделей, подобных CLIP, пока не было полностью исследовано. Для преодоления этого разрыва мы предлагаем общую и лаконичную структуру TransAgent, которая передает знания изолированных агентов единым образом и эффективно направляет CLIP на обобщение с помощью дистилляции знаний из нескольких источников. С помощью такой отличной структуры мы гибко сотрудничаем с 11 гетерогенными агентами для усиления моделей основанных на визуально-языковых основах, без дополнительных затрат на фазе вывода. Наконец, наш TransAgent достигает передовой производительности на 11 наборах данных по визуальному распознаванию. При том же низком уровне обучения он превосходит популярный CoOp в среднем на 10%, и на 20% на наборе данных EuroSAT, который содержит большие изменения области.

English

Vision-language foundation models (such as CLIP) have recently shown their power in transfer learning, owing to large-scale image-text pre-training. However, target domain data in the downstream tasks can be highly different from the pre-training phase, which makes it hard for such a single model to generalize well. Alternatively, there exists a wide range of expert models that contain diversified vision and/or language knowledge pre-trained on different modalities, tasks, networks, and datasets. Unfortunately, these models are "isolated agents" with heterogeneous structures, and how to integrate their knowledge for generalizing CLIP-like models has not been fully explored. To bridge this gap, we propose a general and concise TransAgent framework, which transports the knowledge of the isolated agents in a unified manner, and effectively guides CLIP to generalize with multi-source knowledge distillation. With such a distinct framework, we flexibly collaborate with 11 heterogeneous agents to empower vision-language foundation models, without further cost in the inference phase. Finally, our TransAgent achieves state-of-the-art performance on 11 visual recognition datasets. Under the same low-shot setting, it outperforms the popular CoOp with around 10% on average, and 20% on EuroSAT which contains large domain shifts.