Простое полуавтоматическое дистилляция знаний из моделей "визуальный язык" через двойную оптимизацию заголовков с использованием `Dual-Head Optimization`
Simple Semi-supervised Knowledge Distillation from Vision-Language Models via texttt{D}ual-texttt{H}ead texttt{O}ptimization
May 12, 2025
Авторы: Seongjae Kang, Dong Bok Lee, Hyungjoon Jang, Sung Ju Hwang
cs.AI
Аннотация
Модели, объединяющие зрение и язык (Vision-Language Models, VLMs), достигли значительных успехов в решении разнообразных задач, эффективно используя богатую текстовую информацию при минимальном объеме размеченных данных. Однако развертывание таких крупных моделей остается сложной задачей, особенно в условиях ограниченных ресурсов. Дистилляция знаний (Knowledge Distillation, KD) предлагает проверенное решение этой проблемы; однако современные подходы к KD на основе VLMs часто включают многоэтапное обучение или дополнительную настройку, что увеличивает вычислительные затраты и сложность оптимизации. В данной статье мы предлагаем \texttt{D}ual-\texttt{H}ead \texttt{O}ptimization (\texttt{DHO}) — простую, но эффективную структуру KD, которая переносит знания из VLMs в компактные, специализированные для конкретных задач модели в условиях полуконтролируемого обучения. В частности, мы вводим двойные прогнозирующие головы, которые независимо обучаются на размеченных данных и предсказаниях учителя, и предлагаем линейно комбинировать их выходные данные на этапе вывода. Мы наблюдаем, что DHO смягчает конфликты градиентов между контролируемыми и дистилляционными сигналами, что позволяет более эффективно обучать признаки по сравнению с базовыми подходами с одной головой. В результате обширные эксперименты показывают, что DHO стабильно превосходит базовые методы в различных областях и на детализированных наборах данных. В частности, на ImageNet она достигает наилучших результатов, улучшая точность на 3% и 0,1% при использовании 1% и 10% размеченных данных соответственно, при этом используя меньше параметров.
English
Vision-language models (VLMs) have achieved remarkable success across diverse
tasks by leveraging rich textual information with minimal labeled data.
However, deploying such large models remains challenging, particularly in
resource-constrained environments. Knowledge distillation (KD) offers a
well-established solution to this problem; however, recent KD approaches from
VLMs often involve multi-stage training or additional tuning, increasing
computational overhead and optimization complexity. In this paper, we propose
texttt{D}ual-texttt{H}ead
texttt{O}ptimization (texttt{DHO}) -- a simple yet
effective KD framework that transfers knowledge from VLMs to compact,
task-specific models in semi-supervised settings. Specifically, we introduce
dual prediction heads that independently learn from labeled data and teacher
predictions, and propose to linearly combine their outputs during inference. We
observe that DHO mitigates gradient conflicts between supervised and
distillation signals, enabling more effective feature learning than single-head
KD baselines. As a result, extensive experiments show that DHO
consistently outperforms baselines across multiple domains and fine-grained
datasets. Notably, on ImageNet, it achieves state-of-the-art performance,
improving accuracy by 3% and 0.1% with 1% and 10% labeled data, respectively,
while using fewer parameters.