TransAgente: Transferência de Modelos Fundamentais de Visão e Linguagem com Colaboração de Agentes Heterogêneos

TransAgent: Transfer Vision-Language Foundation Models with Heterogeneous Agent Collaboration

October 16, 2024

Autores: Yiwei Guo, Shaobin Zhuang, Kunchang Li, Yu Qiao, Yali Wang

cs.AI

Resumo

Modelos fundamentais de visão e linguagem (como o CLIP) têm recentemente demonstrado seu poder em aprendizado por transferência, devido ao pré-treinamento em larga escala de imagens e texto. No entanto, os dados do domínio-alvo nas tarefas subsequentes podem ser muito diferentes da fase de pré-treinamento, o que torna difícil para um único modelo generalizar bem. Alternativamente, existe uma ampla gama de modelos especializados que contêm conhecimento diversificado de visão e/ou linguagem pré-treinados em diferentes modalidades, tarefas, redes e conjuntos de dados. Infelizmente, esses modelos são "agentes isolados" com estruturas heterogêneas, e como integrar seu conhecimento para generalizar modelos semelhantes ao CLIP ainda não foi totalmente explorado. Para preencher essa lacuna, propomos um framework TransAgente geral e conciso, que transporta o conhecimento dos agentes isolados de forma unificada e orienta efetivamente o CLIP a generalizar com destilação de conhecimento de várias fontes. Com um framework tão distinto, colaboramos de forma flexível com 11 agentes heterogêneos para potencializar modelos fundamentais de visão e linguagem, sem custos adicionais na fase de inferência. Por fim, nosso TransAgente alcança desempenho de ponta em 11 conjuntos de dados de reconhecimento visual. Sob a mesma configuração de baixa quantidade de dados, supera o popular CoOp em cerca de 10% em média, e 20% no EuroSAT, que contém grandes mudanças de domínio.

English

Vision-language foundation models (such as CLIP) have recently shown their power in transfer learning, owing to large-scale image-text pre-training. However, target domain data in the downstream tasks can be highly different from the pre-training phase, which makes it hard for such a single model to generalize well. Alternatively, there exists a wide range of expert models that contain diversified vision and/or language knowledge pre-trained on different modalities, tasks, networks, and datasets. Unfortunately, these models are "isolated agents" with heterogeneous structures, and how to integrate their knowledge for generalizing CLIP-like models has not been fully explored. To bridge this gap, we propose a general and concise TransAgent framework, which transports the knowledge of the isolated agents in a unified manner, and effectively guides CLIP to generalize with multi-source knowledge distillation. With such a distinct framework, we flexibly collaborate with 11 heterogeneous agents to empower vision-language foundation models, without further cost in the inference phase. Finally, our TransAgent achieves state-of-the-art performance on 11 visual recognition datasets. Under the same low-shot setting, it outperforms the popular CoOp with around 10% on average, and 20% on EuroSAT which contains large domain shifts.