TransAgente: Transferencia de Modelos Fundamentales de Visión-Lenguaje con Colaboración de Agentes Heterogéneos

TransAgent: Transfer Vision-Language Foundation Models with Heterogeneous Agent Collaboration

October 16, 2024

Autores: Yiwei Guo, Shaobin Zhuang, Kunchang Li, Yu Qiao, Yali Wang

cs.AI

Resumen

Los modelos fundamentales de visión y lenguaje (como CLIP) han demostrado recientemente su poder en el aprendizaje por transferencia, gracias al preentrenamiento a gran escala de imágenes y texto. Sin embargo, los datos del dominio objetivo en las tareas posteriores pueden ser muy diferentes de la fase de preentrenamiento, lo que dificulta que un solo modelo generalice bien. Alternativamente, existe una amplia gama de modelos expertos que contienen conocimientos de visión y/o lenguaje diversificados preentrenados en diferentes modalidades, tareas, redes y conjuntos de datos. Desafortunadamente, estos modelos son "agentes aislados" con estructuras heterogéneas, y cómo integrar sus conocimientos para generalizar modelos similares a CLIP no ha sido completamente explorado. Para cerrar esta brecha, proponemos un marco general y conciso llamado TransAgent, que transporta el conocimiento de los agentes aislados de manera unificada y guía efectivamente a CLIP para generalizar con destilación de conocimiento de múltiples fuentes. Con este marco distintivo, colaboramos de manera flexible con 11 agentes heterogéneos para potenciar los modelos fundamentales de visión y lenguaje, sin costos adicionales en la fase de inferencia. Finalmente, nuestro TransAgent logra un rendimiento de vanguardia en 11 conjuntos de datos de reconocimiento visual. Bajo la misma configuración de baja cantidad de datos, supera al popular CoOp en promedio alrededor del 10%, y un 20% en EuroSAT que contiene grandes cambios de dominio.

English

Vision-language foundation models (such as CLIP) have recently shown their power in transfer learning, owing to large-scale image-text pre-training. However, target domain data in the downstream tasks can be highly different from the pre-training phase, which makes it hard for such a single model to generalize well. Alternatively, there exists a wide range of expert models that contain diversified vision and/or language knowledge pre-trained on different modalities, tasks, networks, and datasets. Unfortunately, these models are "isolated agents" with heterogeneous structures, and how to integrate their knowledge for generalizing CLIP-like models has not been fully explored. To bridge this gap, we propose a general and concise TransAgent framework, which transports the knowledge of the isolated agents in a unified manner, and effectively guides CLIP to generalize with multi-source knowledge distillation. With such a distinct framework, we flexibly collaborate with 11 heterogeneous agents to empower vision-language foundation models, without further cost in the inference phase. Finally, our TransAgent achieves state-of-the-art performance on 11 visual recognition datasets. Under the same low-shot setting, it outperforms the popular CoOp with around 10% on average, and 20% on EuroSAT which contains large domain shifts.