TransAgent: 異種エージェントの協力によるビジョン言語基盤モデルの転移

TransAgent: Transfer Vision-Language Foundation Models with Heterogeneous Agent Collaboration

October 16, 2024

著者: Yiwei Guo, Shaobin Zhuang, Kunchang Li, Yu Qiao, Yali Wang

cs.AI

要旨

ビジョン言語基盤モデル（例：CLIP）は、大規模な画像テキストの事前学習による転移学習の力を最近示しています。ただし、下流タスクのターゲットドメインデータは、事前学習フェーズと大きく異なることがあり、そのような単一モデルがうまく一般化するのが難しい状況があります。代替手段として、さまざまなモダリティ、タスク、ネットワーク、およびデータセットで事前学習された多様なビジョンおよび/または言語知識を含む専門モデルが広範囲に存在します。残念ながら、これらのモデルは異なる構造の「孤立したエージェント」であり、その知識をどのように統合してCLIPの一般化を促進するかが完全には探求されていません。このギャップを埋めるために、私たちは一般的で簡潔なTransAgentフレームワークを提案しています。このフレームワークは、孤立したエージェントの知識を統一された方法で転送し、マルチソース知識蒸留によりCLIPの一般化を効果的に導きます。このような独自のフレームワークにより、私たちは11の異種エージェントと柔軟に協力してビジョン言語基盤モデルを強化し、推論フェーズで追加コストなしに実現します。最終的に、私たちのTransAgentは11の視覚認識データセットで最先端のパフォーマンスを達成します。同じ低ショット設定の下で、一般的なCoOpよりも平均で約10％、大きなドメインシフトが含まれるEuroSATでは20％程度の優れた成績を収めます。

English

Vision-language foundation models (such as CLIP) have recently shown their power in transfer learning, owing to large-scale image-text pre-training. However, target domain data in the downstream tasks can be highly different from the pre-training phase, which makes it hard for such a single model to generalize well. Alternatively, there exists a wide range of expert models that contain diversified vision and/or language knowledge pre-trained on different modalities, tasks, networks, and datasets. Unfortunately, these models are "isolated agents" with heterogeneous structures, and how to integrate their knowledge for generalizing CLIP-like models has not been fully explored. To bridge this gap, we propose a general and concise TransAgent framework, which transports the knowledge of the isolated agents in a unified manner, and effectively guides CLIP to generalize with multi-source knowledge distillation. With such a distinct framework, we flexibly collaborate with 11 heterogeneous agents to empower vision-language foundation models, without further cost in the inference phase. Finally, our TransAgent achieves state-of-the-art performance on 11 visual recognition datasets. Under the same low-shot setting, it outperforms the popular CoOp with around 10% on average, and 20% on EuroSAT which contains large domain shifts.