Eenvoudige Semi-gesuperviseerde Kennisdistillatie van Vision-Language Modellen via Dual-Head Optimalisatie

Simple Semi-supervised Knowledge Distillation from Vision-Language Models via texttt{D}ual-texttt{H}ead texttt{O}ptimization

May 12, 2025

Auteurs: Seongjae Kang, Dong Bok Lee, Hyungjoon Jang, Sung Ju Hwang

cs.AI

Samenvatting

Vision-language modellen (VLMs) hebben opmerkelijke successen behaald in diverse taken door gebruik te maken van rijke tekstuele informatie met minimale gelabelde data. Het inzetten van dergelijke grote modellen blijft echter een uitdaging, vooral in omgevingen met beperkte middelen. Knowledge distillation (KD) biedt een goed gevestigde oplossing voor dit probleem; recente KD-benaderingen vanuit VLMs omvatten echter vaak meertraps training of aanvullende afstemming, wat de rekenkosten en optimalisatiecomplexiteit verhoogt. In dit artikel stellen we \texttt{D}ual-\texttt{H}ead \texttt{O}ptimization (texttt{DHO}) voor -- een eenvoudig maar effectief KD-raamwerk dat kennis overdraagt van VLMs naar compacte, taakspecifieke modellen in semi-gesuperviseerde settings. Specifiek introduceren we dubbele voorspellingskoppen die onafhankelijk leren van gelabelde data en voorspellingen van de leraar, en stellen we voor om hun uitvoer lineair te combineren tijdens de inferentie. We observeren dat DHO gradientconflicten tussen gesuperviseerde en distillatiesignalen vermindert, waardoor effectievere feature learning mogelijk wordt dan bij single-head KD-baselines. Als resultaat tonen uitgebreide experimenten aan dat DHO consistent beter presteert dan baselines in meerdere domeinen en fijnmazige datasets. Opvallend is dat het op ImageNet state-of-the-art prestaties behaalt, met een nauwkeurigheidsverbetering van 3% en 0,1% bij respectievelijk 1% en 10% gelabelde data, terwijl het minder parameters gebruikt.

English

Vision-language models (VLMs) have achieved remarkable success across diverse tasks by leveraging rich textual information with minimal labeled data. However, deploying such large models remains challenging, particularly in resource-constrained environments. Knowledge distillation (KD) offers a well-established solution to this problem; however, recent KD approaches from VLMs often involve multi-stage training or additional tuning, increasing computational overhead and optimization complexity. In this paper, we propose texttt{D}ual-texttt{H}ead texttt{O}ptimization (texttt{DHO}) -- a simple yet effective KD framework that transfers knowledge from VLMs to compact, task-specific models in semi-supervised settings. Specifically, we introduce dual prediction heads that independently learn from labeled data and teacher predictions, and propose to linearly combine their outputs during inference. We observe that DHO mitigates gradient conflicts between supervised and distillation signals, enabling more effective feature learning than single-head KD baselines. As a result, extensive experiments show that DHO consistently outperforms baselines across multiple domains and fine-grained datasets. Notably, on ImageNet, it achieves state-of-the-art performance, improving accuracy by 3% and 0.1% with 1% and 10% labeled data, respectively, while using fewer parameters.