PCoreSet: Эффективное активное обучение через дистилляцию знаний из моделей "визуальный язык"

PCoreSet: Effective Active Learning through Knowledge Distillation from Vision-Language Models

June 1, 2025

Авторы: Seongjae Kang, Dong Bok Lee, Hyungjoon Jang, Dongseop Kim, Sung Ju Hwang

cs.AI

Аннотация

Дистилляция знаний (KD) представляет собой широко используемую методологию для обучения компактных, специализированных моделей с использованием знаний моделей-учителей. Однако её применение в активном обучении (AL), которое направлено на минимизацию затрат на аннотирование через итеративный отбор образцов, остается недостаточно изученным. Этот пробел обусловлен тем, что KD обычно предполагает доступ к достаточному количеству размеченных данных, тогда как AL работает в условиях дефицита данных, где специализированные модели-учители часто недоступны. В данной статье мы представляем ActiveKD — фреймворк, который интегрирует AL с KD, используя возможности крупных визуально-языковых моделей (VLMs) в задачах zero-shot и few-shot обучения. Ключевым аспектом ActiveKD является структурированная предсказательная предвзятость VLMs — их предсказания образуют кластеры в вероятностном пространстве. Мы рассматриваем эту структуру как индуктивную предвзятость модели-учителя, которая фиксирует обобщаемые паттерны выходных данных, полезные для обучения модели-ученика. Чтобы использовать эту предвзятость, мы предлагаем Probabilistic CoreSet (PCoreSet) — стратегию отбора, которая максимизирует покрытие в вероятностном пространстве, а не в пространстве признаков. PCoreSet стратегически выбирает категориально разнообразные неразмеченные образцы, что способствует более эффективной передаче знаний модели-учителя при ограниченном бюджете на аннотирование. Оценки на 11 наборах данных показывают, что PCoreSet стабильно превосходит существующие методы отбора в рамках фреймворка ActiveKD, продвигая исследования на стыке AL и KD.

English

Knowledge distillation (KD) is a widely used framework for training compact, task-specific models by leveraging the knowledge of teacher models. However, its application to active learning (AL), which aims to minimize annotation costs through iterative sample selection, remains underexplored. This gap stems from the fact that KD typically assumes access to sufficient labeled data, whereas AL operates in data-scarce scenarios where task-specific teacher models are often unavailable. In this paper, we introduce ActiveKD, a framework that integrates AL with KD by leveraging the zero- and few-shot capabilities of large vision-language models (VLMs). A key aspect of ActiveKD is the structured prediction bias of VLMs -- i.e., their predictions form clusters in the probability space. We regard this structure as an inductive bias of the teacher model, capturing generalizable output patterns beneficial to student learning. To exploit this bias, we propose Probabilistic CoreSet (PCoreSet), a selection strategy that maximizes coverage in the probability space rather than the feature space. PCoreSet strategically selects categorically diverse unlabeled samples, facilitating more efficient transfer of teacher knowledge under limited annotation budgets. Evaluations on 11 datasets show that PCoreSet consistently outperforms existing selection methods within the ActiveKD framework, advancing research at the intersection of AL and KD.