TransAgent: Übertragung von Vision-Sprache-Grundlagenmodellen mit heterogener Agentenzusammenarbeit

TransAgent: Transfer Vision-Language Foundation Models with Heterogeneous Agent Collaboration

October 16, 2024

Autoren: Yiwei Guo, Shaobin Zhuang, Kunchang Li, Yu Qiao, Yali Wang

cs.AI

Zusammenfassung

Vision-Sprache-Grundlagenmodelle (wie CLIP) haben kürzlich ihre Leistungsfähigkeit im Transferlernen gezeigt, dank des groß angelegten Vortrainings von Bild-Text. Allerdings können die Zielbereichsdaten in den nachgelagerten Aufgaben stark von der Vortrainingsphase abweichen, was es für ein solches einzelnes Modell schwierig macht, gut zu generalisieren. Alternativ gibt es eine Vielzahl von Expertenmodellen, die vielfältiges Vision- und/oder Sprachwissen enthalten, das auf verschiedenen Modalitäten, Aufgaben, Netzwerken und Datensätzen vortrainiert ist. Leider handelt es sich bei diesen Modellen um "isolierter Agenten" mit heterogenen Strukturen, und wie man ihr Wissen zur Verallgemeinerung von CLIP-ähnlichen Modellen vollständig integriert, wurde noch nicht vollständig erforscht. Um diese Lücke zu überbrücken, schlagen wir ein allgemeines und prägnantes TransAgenten-Framework vor, das das Wissen der isolierten Agenten auf einheitliche Weise transportiert und CLIP effektiv anleitet, mit Multi-Source-Wissensdestillation zu generalisieren. Mit einem solchen einzigartigen Framework arbeiten wir flexibel mit 11 heterogenen Agenten zusammen, um Vision-Sprache-Grundlagenmodelle zu stärken, ohne zusätzliche Kosten in der Inferenzphase. Schließlich erzielt unser TransAgent Spitzenleistungen auf 11 visuellen Erkennungsdatensätzen. Unter denselben Low-Shot-Einstellungen übertrifft es das beliebte CoOp durchschnittlich um etwa 10 % und um 20 % auf EuroSAT, das große Domänenverschiebungen enthält.

English

Vision-language foundation models (such as CLIP) have recently shown their power in transfer learning, owing to large-scale image-text pre-training. However, target domain data in the downstream tasks can be highly different from the pre-training phase, which makes it hard for such a single model to generalize well. Alternatively, there exists a wide range of expert models that contain diversified vision and/or language knowledge pre-trained on different modalities, tasks, networks, and datasets. Unfortunately, these models are "isolated agents" with heterogeneous structures, and how to integrate their knowledge for generalizing CLIP-like models has not been fully explored. To bridge this gap, we propose a general and concise TransAgent framework, which transports the knowledge of the isolated agents in a unified manner, and effectively guides CLIP to generalize with multi-source knowledge distillation. With such a distinct framework, we flexibly collaborate with 11 heterogeneous agents to empower vision-language foundation models, without further cost in the inference phase. Finally, our TransAgent achieves state-of-the-art performance on 11 visual recognition datasets. Under the same low-shot setting, it outperforms the popular CoOp with around 10% on average, and 20% on EuroSAT which contains large domain shifts.