Einfache halbüberwachte Wissensdistillation aus Vision-Sprache-Modellen mittels texttt{D}ualer-texttt{H}ead texttt{O}ptimierung

Simple Semi-supervised Knowledge Distillation from Vision-Language Models via texttt{D}ual-texttt{H}ead texttt{O}ptimization

May 12, 2025

Autoren: Seongjae Kang, Dong Bok Lee, Hyungjoon Jang, Sung Ju Hwang

cs.AI

Zusammenfassung

Vision-Language-Modelle (VLMs) haben bemerkenswerte Erfolge bei vielfältigen Aufgaben erzielt, indem sie umfangreiche textuelle Informationen mit minimal annotierten Daten nutzen. Die Bereitstellung solcher großen Modelle bleibt jedoch eine Herausforderung, insbesondere in ressourcenbeschränkten Umgebungen. Wissensdistillation (KD) bietet eine bewährte Lösung für dieses Problem; jedoch beinhalten aktuelle KD-Ansätze für VLMs oft mehrstufiges Training oder zusätzliche Feinabstimmung, was den Rechenaufwand und die Optimierungskomplexität erhöht. In diesem Artikel schlagen wir \texttt{D}ual-\texttt{H}ead \texttt{O}ptimization (\texttt{DHO}) vor – ein einfaches, aber effektives KD-Framework, das Wissen von VLMs auf kompakte, aufgaben spezifische Modelle in semi-überwachten Settings überträgt. Konkret führen wir duale Vorhersageköpfe ein, die unabhängig von annotierten Daten und Lehrer-Vorhersagen lernen, und schlagen vor, ihre Ausgaben während der Inferenz linear zu kombinieren. Wir beobachten, dass DHO Gradientenkonflikte zwischen überwachten und Distillationssignalen mildert und dadurch effektiveres Feature-Lernen ermöglicht als Single-Head-KD-Baselines. Infolgedessen zeigen umfangreiche Experimente, dass DHO Baselines über mehrere Domänen und fein granulierte Datensätze hinweg konsequent übertrifft. Insbesondere auf ImageNet erreicht es state-of-the-art Leistung, verbessert die Genauigkeit um 3 % bzw. 0,1 % bei 1 % und 10 % annotierten Daten, während weniger Parameter verwendet werden.

English

Vision-language models (VLMs) have achieved remarkable success across diverse tasks by leveraging rich textual information with minimal labeled data. However, deploying such large models remains challenging, particularly in resource-constrained environments. Knowledge distillation (KD) offers a well-established solution to this problem; however, recent KD approaches from VLMs often involve multi-stage training or additional tuning, increasing computational overhead and optimization complexity. In this paper, we propose texttt{D}ual-texttt{H}ead texttt{O}ptimization (texttt{DHO}) -- a simple yet effective KD framework that transfers knowledge from VLMs to compact, task-specific models in semi-supervised settings. Specifically, we introduce dual prediction heads that independently learn from labeled data and teacher predictions, and propose to linearly combine their outputs during inference. We observe that DHO mitigates gradient conflicts between supervised and distillation signals, enabling more effective feature learning than single-head KD baselines. As a result, extensive experiments show that DHO consistently outperforms baselines across multiple domains and fine-grained datasets. Notably, on ImageNet, it achieves state-of-the-art performance, improving accuracy by 3% and 0.1% with 1% and 10% labeled data, respectively, while using fewer parameters.