Switch-KD: Visueller Switch-Wissensdistillierung für Sprach-Bild-Modelle
Switch-KD: Visual-Switch Knowledge Distillation for Vision-Language Models
April 16, 2026
Autoren: Haoyi Sun, Xiaoxiao Wang, Ning Mao, Qian Wang, Lifu Mu, Wen Zheng, Tao Wei, Wei Chen
cs.AI
Zusammenfassung
Vision-Language Models (VLMs) haben bemerkenswerte Fähigkeiten im gemeinsamen Verständnis von Bild und Sprache gezeigt, doch ihre große Skalierung stellt erhebliche Herausforderungen für den Einsatz in ressourcenbeschränkten Szenarien dar. Wissensdistillation (KD) bietet einen praktikablen Ansatz, um Modellfähigkeiten zu verbessern, ohne die Modellgröße oder Datenanforderungen zu erhöhen, was die Bereitstellung effizienter macht. Die Anwendung von KD auf VLMs wird jedoch durch modalitätsspezifische Überwachung erschwert: Obwohl multimodales Wissen in VLMs innerhalb des Sprachraums fusioniert wird, überwachen aktuelle Methoden jede Modalität separat, ohne die multimodale Ausrichtung explizit zu adressieren, was zu inkonsistentem multimodalen Wissenstransfer führt. Um dies zu lösen, schlagen wir Switch-KD vor, ein Visual-Switch-Distillationsframework, das den Bild-Sprache-Wissenstransfer innerhalb eines gemeinsamen Text-Wahrscheinlichkeitsraums vereinheitlicht. Switch-KD umfasst zwei Schlüsselkomponenten: (1) Visual-Switch-Distillation, die die visuellen Ausgaben des Studenten in den Sprachpfad des Lehrers umleitet, um cross-modale probabilistische Referenzen für impliziten visuellen Wissenstransfer zu konstruieren; und (2) Dynamic Bi-directional Logits Difference (DBiLD) Loss, der informative Wahrscheinlichkeitsregionen adaptiv ausrichtet und gleichzeitig die Verteilungsstrukturen von Lehrer und Studenten durch bidirektionale Überwachung bewahrt. Unter Anleitung von Switch-KD distilliert ein 0,5B TinyLLaVA effektiv umfangreiches multimodales Wissen von seinem 3B-Lehrer und erzielt eine durchschnittliche Verbesserung von 3,6 Punkten über 10 multimodale Benchmarks hinweg, ohne jegliche Architekturmodifikation.
English
Vision-Language Models (VLMs) have shown remarkable capabilities in joint vision-language understanding, but their large scale poses significant challenges for deployment in resource-constrained scenarios. Knowledge Distillation (KD) offers a viable way to improve model capabilities without increasing model size or data requirements, making deployment more efficient. However, applying KD to VLMs is challenged by modality-specific supervision: although multimodal knowledge in VLMs is fused within the language space, current methods supervise each modality separately without explicitly addressing multimodal alignment, leading to inconsistent multimodal knowledge transfer. To address this, we propose Switch-KD, a visual-switch distillation framework that unifies vision-language knowledge transfer within a shared text-probability space. Switch-KD comprises two key components: (1) Visual-Switch Distillation, which switches the student's visual outputs into the teacher's language pathway to construct cross-modal probabilistic references for implicit visual knowledge transfer; and (2) Dynamic Bi-directional Logits Difference (DBiLD) loss, which adaptively aligns informative probability regions while preserving the distributional structures of teacher and student through bidirectional supervision. Guided by Switch-KD, a 0.5B TinyLLaVA effectively distills rich multimodal knowledge from its 3B teacher, yielding an average improvement of 3.6 points across 10 multimodal benchmarks without any architectural modification.