Switch-KD : Distillation de connaissances par commutation visuelle pour les modèles vision-langage

Switch-KD: Visual-Switch Knowledge Distillation for Vision-Language Models

April 16, 2026

Auteurs: Haoyi Sun, Xiaoxiao Wang, Ning Mao, Qian Wang, Lifu Mu, Wen Zheng, Tao Wei, Wei Chen

cs.AI

Résumé

Les modèles vision-langage (VLM) ont démontré des capacités remarquables dans la compréhension conjointe vision-langage, mais leur grande échelle pose des défis significatifs pour leur déploiement dans des scénarios à ressources limitées. La distillation de connaissances (KD) offre une voie viable pour améliorer les capacités des modèles sans augmenter leur taille ou les besoins en données, rendant le déploiement plus efficace. Cependant, l'application de la KD aux VLM est confrontée au défi de la supervision modale spécifique : bien que les connaissances multimodales dans les VLM soient fusionnées dans l'espace langagier, les méthodes actuelles supervisent chaque modalité séparément sans traiter explicitement l'alignement multimodal, ce qui entraîne un transfert de connaissances multimodal incohérent. Pour résoudre ce problème, nous proposons Switch-KD, un cadre de distillation à commutation visuelle qui unifie le transfert de connaissances vision-langage dans un espace partagé de probabilités textuelles. Switch-KD comprend deux composants clés : (1) la Distillation à Commutation Visuelle, qui commute les sorties visuelles de l'étudiant vers le pathway langagier du enseignant pour construire des références probabilistes cross-modales permettant un transfert implicite des connaissances visuelles ; et (2) la perte par Différence Bidirectionnelle Dynamique des Logits (DBiLD), qui aligne de manière adaptive les régions probabilistes informatives tout en préservant les structures distributionnelles du enseignant et de l'étudiant via une supervision bidirectionnelle. Guidé par Switch-KD, un TinyLLaVA de 0,5 milliard de paramètres distille efficacement les riches connaissances multimodales de son enseignant de 3 milliards de paramètres, obtenant une amélioration moyenne de 3,6 points sur 10 benchmarks multimodaux sans aucune modification architecturale.

English

Vision-Language Models (VLMs) have shown remarkable capabilities in joint vision-language understanding, but their large scale poses significant challenges for deployment in resource-constrained scenarios. Knowledge Distillation (KD) offers a viable way to improve model capabilities without increasing model size or data requirements, making deployment more efficient. However, applying KD to VLMs is challenged by modality-specific supervision: although multimodal knowledge in VLMs is fused within the language space, current methods supervise each modality separately without explicitly addressing multimodal alignment, leading to inconsistent multimodal knowledge transfer. To address this, we propose Switch-KD, a visual-switch distillation framework that unifies vision-language knowledge transfer within a shared text-probability space. Switch-KD comprises two key components: (1) Visual-Switch Distillation, which switches the student's visual outputs into the teacher's language pathway to construct cross-modal probabilistic references for implicit visual knowledge transfer; and (2) Dynamic Bi-directional Logits Difference (DBiLD) loss, which adaptively aligns informative probability regions while preserving the distributional structures of teacher and student through bidirectional supervision. Guided by Switch-KD, a 0.5B TinyLLaVA effectively distills rich multimodal knowledge from its 3B teacher, yielding an average improvement of 3.6 points across 10 multimodal benchmarks without any architectural modification.