PCoreSet: Apprendimento Attivo Efficace attraverso la Distillazione della Conoscenza da Modelli Visione-Linguaggio

PCoreSet: Effective Active Learning through Knowledge Distillation from Vision-Language Models

June 1, 2025

Autori: Seongjae Kang, Dong Bok Lee, Hyungjoon Jang, Dongseop Kim, Sung Ju Hwang

cs.AI

Abstract

La distillazione della conoscenza (Knowledge Distillation, KD) è un framework ampiamente utilizzato per addestrare modelli compatti e specifici per un determinato compito sfruttando la conoscenza di modelli insegnanti. Tuttavia, la sua applicazione all'apprendimento attivo (Active Learning, AL), che mira a minimizzare i costi di annotazione attraverso la selezione iterativa di campioni, rimane poco esplorata. Questa lacuna deriva dal fatto che la KD presuppone tipicamente l'accesso a dati etichettati sufficienti, mentre l'AL opera in scenari con scarsità di dati in cui i modelli insegnanti specifici per il compito sono spesso non disponibili. In questo articolo, introduciamo ActiveKD, un framework che integra l'AL con la KD sfruttando le capacità zero-shot e few-shot di grandi modelli visione-linguaggio (Vision-Language Models, VLMs). Un aspetto chiave di ActiveKD è il bias di previsione strutturata dei VLMs, ovvero il fatto che le loro previsioni formano cluster nello spazio delle probabilità. Consideriamo questa struttura come un bias induttivo del modello insegnante, che cattura schemi di output generalizzabili utili per l'apprendimento dello studente. Per sfruttare questo bias, proponiamo Probabilistic CoreSet (PCoreSet), una strategia di selezione che massimizza la copertura nello spazio delle probabilità anziché nello spazio delle feature. PCoreSet seleziona strategicamente campioni non etichettati con diversità categoriale, facilitando un trasferimento più efficiente della conoscenza dell'insegnante con budget di annotazione limitati. Le valutazioni su 11 dataset dimostrano che PCoreSet supera costantemente i metodi di selezione esistenti all'interno del framework ActiveKD, avanzando la ricerca all'intersezione tra AL e KD.

English

Knowledge distillation (KD) is a widely used framework for training compact, task-specific models by leveraging the knowledge of teacher models. However, its application to active learning (AL), which aims to minimize annotation costs through iterative sample selection, remains underexplored. This gap stems from the fact that KD typically assumes access to sufficient labeled data, whereas AL operates in data-scarce scenarios where task-specific teacher models are often unavailable. In this paper, we introduce ActiveKD, a framework that integrates AL with KD by leveraging the zero- and few-shot capabilities of large vision-language models (VLMs). A key aspect of ActiveKD is the structured prediction bias of VLMs -- i.e., their predictions form clusters in the probability space. We regard this structure as an inductive bias of the teacher model, capturing generalizable output patterns beneficial to student learning. To exploit this bias, we propose Probabilistic CoreSet (PCoreSet), a selection strategy that maximizes coverage in the probability space rather than the feature space. PCoreSet strategically selects categorically diverse unlabeled samples, facilitating more efficient transfer of teacher knowledge under limited annotation budgets. Evaluations on 11 datasets show that PCoreSet consistently outperforms existing selection methods within the ActiveKD framework, advancing research at the intersection of AL and KD.