Switch-KD: Визуально-переключаемое дистилляция знаний для моделей обработки визуальных и языковых данных

Switch-KD: Visual-Switch Knowledge Distillation for Vision-Language Models

April 16, 2026

Авторы: Haoyi Sun, Xiaoxiao Wang, Ning Mao, Qian Wang, Lifu Mu, Wen Zheng, Tao Wei, Wei Chen

cs.AI

Аннотация

Модели «зрение-язык» (Vision-Language Models, VLM) продемонстрировали выдающиеся способности в области совместного понимания визуальной и языковой информации, однако их крупный масштаб создает существенные сложности для развертывания в сценариях с ограниченными ресурсами. Дистилляция знаний (Knowledge Distillation, KD) предлагает жизнеспособный путь для улучшения возможностей моделей без увеличения их размера или требований к данным, что повышает эффективность развертывания. Однако применение KD к VLM сталкивается с проблемой модально-специфичного контроля: хотя мультимодальные знания в VLM объединяются в рамках языкового пространства, современные методы контролируют каждую модальность отдельно, не решая явно задачу мультимодального согласования, что приводит к несогласованному переносу мультимодальных знаний. Для решения этой проблемы мы предлагаем Switch-KD — фреймворк дистилляции с визуальным переключением, который унифицирует передачу визуально-языковых знаний в общем пространстве текстовых вероятностей. Switch-KD включает два ключевых компонента: (1) Дистилляция с визуальным переключением, которая переключает визуальные выходы студента в языковой путь учителя для построения кросс-модальных вероятностных эталонов неявного переноса визуальных знаний; и (2) Динамическая двунаправленная разность логарифмических вероятностей (DBiLD), которая адаптивно выравнивает информативные вероятностные области, сохраняя распределительные структуры учителя и студента посредством двунаправленного контроля. Под руководством Switch-KD компактная модель TinyLLaVA объемом 0,5B эффективно дистиллирует богатые мультимодальные знания от своего учителя объемом 3B, демонстрируя среднее улучшение на 3,6 пункта по 10 мультимодальным тестам без каких-либо архитектурных изменений.

English

Vision-Language Models (VLMs) have shown remarkable capabilities in joint vision-language understanding, but their large scale poses significant challenges for deployment in resource-constrained scenarios. Knowledge Distillation (KD) offers a viable way to improve model capabilities without increasing model size or data requirements, making deployment more efficient. However, applying KD to VLMs is challenged by modality-specific supervision: although multimodal knowledge in VLMs is fused within the language space, current methods supervise each modality separately without explicitly addressing multimodal alignment, leading to inconsistent multimodal knowledge transfer. To address this, we propose Switch-KD, a visual-switch distillation framework that unifies vision-language knowledge transfer within a shared text-probability space. Switch-KD comprises two key components: (1) Visual-Switch Distillation, which switches the student's visual outputs into the teacher's language pathway to construct cross-modal probabilistic references for implicit visual knowledge transfer; and (2) Dynamic Bi-directional Logits Difference (DBiLD) loss, which adaptively aligns informative probability regions while preserving the distributional structures of teacher and student through bidirectional supervision. Guided by Switch-KD, a 0.5B TinyLLaVA effectively distills rich multimodal knowledge from its 3B teacher, yielding an average improvement of 3.6 points across 10 multimodal benchmarks without any architectural modification.