PCoreSet: Aprendizado Ativo Eficaz por meio de Distilação de Conhecimento de Modelos Visão-Linguagem

PCoreSet: Effective Active Learning through Knowledge Distillation from Vision-Language Models

June 1, 2025

Autores: Seongjae Kang, Dong Bok Lee, Hyungjoon Jang, Dongseop Kim, Sung Ju Hwang

cs.AI

Resumo

A destilação de conhecimento (KD, do inglês Knowledge Distillation) é uma estrutura amplamente utilizada para treinar modelos compactos e específicos para tarefas, aproveitando o conhecimento de modelos professores. No entanto, sua aplicação ao aprendizado ativo (AL, do inglês Active Learning), que visa minimizar os custos de anotação por meio da seleção iterativa de amostras, permanece pouco explorada. Essa lacuna decorre do fato de que a KD geralmente pressupõe o acesso a dados rotulados suficientes, enquanto o AL opera em cenários de escassez de dados, onde modelos professores específicos para tarefas frequentemente não estão disponíveis. Neste artigo, introduzimos o ActiveKD, uma estrutura que integra o AL com a KD, aproveitando as capacidades de zero-shot e few-shot de grandes modelos de visão e linguagem (VLMs, do inglês Vision-Language Models). Um aspecto fundamental do ActiveKD é o viés de predição estruturada dos VLMs — ou seja, suas previsões formam agrupamentos no espaço de probabilidade. Consideramos essa estrutura como um viés indutivo do modelo professor, capturando padrões de saída generalizáveis que são benéficos para o aprendizado do modelo estudante. Para explorar esse viés, propomos o Probabilistic CoreSet (PCoreSet), uma estratégia de seleção que maximiza a cobertura no espaço de probabilidade em vez do espaço de características. O PCoreSet seleciona estrategicamente amostras não rotuladas com diversidade categórica, facilitando uma transferência mais eficiente do conhecimento do professor sob orçamentos limitados de anotação. Avaliações em 11 conjuntos de dados mostram que o PCoreSet supera consistentemente os métodos de seleção existentes dentro da estrutura do ActiveKD, avançando a pesquisa na interseção entre AL e KD.

English

Knowledge distillation (KD) is a widely used framework for training compact, task-specific models by leveraging the knowledge of teacher models. However, its application to active learning (AL), which aims to minimize annotation costs through iterative sample selection, remains underexplored. This gap stems from the fact that KD typically assumes access to sufficient labeled data, whereas AL operates in data-scarce scenarios where task-specific teacher models are often unavailable. In this paper, we introduce ActiveKD, a framework that integrates AL with KD by leveraging the zero- and few-shot capabilities of large vision-language models (VLMs). A key aspect of ActiveKD is the structured prediction bias of VLMs -- i.e., their predictions form clusters in the probability space. We regard this structure as an inductive bias of the teacher model, capturing generalizable output patterns beneficial to student learning. To exploit this bias, we propose Probabilistic CoreSet (PCoreSet), a selection strategy that maximizes coverage in the probability space rather than the feature space. PCoreSet strategically selects categorically diverse unlabeled samples, facilitating more efficient transfer of teacher knowledge under limited annotation budgets. Evaluations on 11 datasets show that PCoreSet consistently outperforms existing selection methods within the ActiveKD framework, advancing research at the intersection of AL and KD.