Switch-KD: Visuele-Switch Kennisdistillatie voor Visie-Taalmodellen
Switch-KD: Visual-Switch Knowledge Distillation for Vision-Language Models
April 16, 2026
Auteurs: Haoyi Sun, Xiaoxiao Wang, Ning Mao, Qian Wang, Lifu Mu, Wen Zheng, Tao Wei, Wei Chen
cs.AI
Samenvatting
Vision-Language Models (VLMs) hebben opmerkelijke capaciteiten getoond in gezamenlijk visueel-taalkundig begrip, maar hun grote schaal vormt aanzienlijke uitdagingen voor implementatie in scenarios met beperkte middelen. Knowledge Distillation (KD) biedt een haalbare manier om modelcapaciteiten te verbeteren zonder modelgrootte of gegevensvereisten te vergroten, waardoor implementatie efficiënter wordt. Het toepassen van KD op VLMs wordt echter bemoeilijkt door modaliteit-specifieke supervisie: hoewel multimodale kennis in VLMs wordt gefuseerd binnen de taalkundige ruimte, houden huidige methoden elk modality afzonderlijk onder toezicht zonder multimodale afstemming expliciet aan te pakken, wat leidt tot inconsistente overdracht van multimodale kennis. Om dit aan te pakken, stellen we Switch-KD voor, een visueel-schakel distillatiekader dat visie-taalkundige kennisoverdracht verenigt binnen een gedeelde tekst-waarschijnlijkheidsruimte. Switch-KD omvat twee belangrijke componenten: (1) Visueel-Switch Distillatie, die de visuele uitvoer van de student omschakelt naar het taalpad van de leraar om kruismodale probabilistische referenties te construeren voor impliciete overdracht van visuele kennis; en (2) Dynamic Bi-directional Logits Difference (DBiLD) verlies, dat informatieve waarschijnlijkheidsregio's adaptief afstemt terwijl de distributiestructuren van leraar en student behouden blijven door bidirectioneel toezicht. Geleid door Switch-KD, distilleert een 0.5B TinyLLaVA effectief rijke multimodale kennis van zijn 3B leraar, wat resulteert in een gemiddelde verbetering van 3.6 punten over 10 multimodale benchmarks zonder enige architectuurwijziging.
English
Vision-Language Models (VLMs) have shown remarkable capabilities in joint vision-language understanding, but their large scale poses significant challenges for deployment in resource-constrained scenarios. Knowledge Distillation (KD) offers a viable way to improve model capabilities without increasing model size or data requirements, making deployment more efficient. However, applying KD to VLMs is challenged by modality-specific supervision: although multimodal knowledge in VLMs is fused within the language space, current methods supervise each modality separately without explicitly addressing multimodal alignment, leading to inconsistent multimodal knowledge transfer. To address this, we propose Switch-KD, a visual-switch distillation framework that unifies vision-language knowledge transfer within a shared text-probability space. Switch-KD comprises two key components: (1) Visual-Switch Distillation, which switches the student's visual outputs into the teacher's language pathway to construct cross-modal probabilistic references for implicit visual knowledge transfer; and (2) Dynamic Bi-directional Logits Difference (DBiLD) loss, which adaptively aligns informative probability regions while preserving the distributional structures of teacher and student through bidirectional supervision. Guided by Switch-KD, a 0.5B TinyLLaVA effectively distills rich multimodal knowledge from its 3B teacher, yielding an average improvement of 3.6 points across 10 multimodal benchmarks without any architectural modification.