PCoreSet: Aprendizaje Activo Efectivo mediante Distilación de Conocimiento de Modelos Visión-Lenguaje

PCoreSet: Effective Active Learning through Knowledge Distillation from Vision-Language Models

June 1, 2025

Autores: Seongjae Kang, Dong Bok Lee, Hyungjoon Jang, Dongseop Kim, Sung Ju Hwang

cs.AI

Resumen

La destilación de conocimiento (KD, por sus siglas en inglés) es un marco ampliamente utilizado para entrenar modelos compactos y específicos de tareas aprovechando el conocimiento de modelos maestros. Sin embargo, su aplicación al aprendizaje activo (AL, por sus siglas en inglés), que busca minimizar los costos de anotación mediante la selección iterativa de muestras, sigue siendo poco explorada. Esta brecha surge del hecho de que KD generalmente asume acceso a datos etiquetados suficientes, mientras que AL opera en escenarios con escasez de datos donde los modelos maestros específicos de tareas a menudo no están disponibles. En este artículo, presentamos ActiveKD, un marco que integra AL con KD aprovechando las capacidades de cero y pocos disparos de los grandes modelos de visión y lenguaje (VLMs, por sus siglas en inglés). Un aspecto clave de ActiveKD es el sesgo de predicción estructurada de los VLMs, es decir, sus predicciones forman agrupaciones en el espacio de probabilidad. Consideramos esta estructura como un sesgo inductivo del modelo maestro, capturando patrones de salida generalizables que benefician el aprendizaje del estudiante. Para explotar este sesgo, proponemos Probabilistic CoreSet (PCoreSet), una estrategia de selección que maximiza la cobertura en el espacio de probabilidad en lugar del espacio de características. PCoreSet selecciona estratégicamente muestras no etiquetadas categóricamente diversas, facilitando una transferencia más eficiente del conocimiento del maestro bajo presupuestos limitados de anotación. Las evaluaciones en 11 conjuntos de datos muestran que PCoreSet supera consistentemente a los métodos de selección existentes dentro del marco de ActiveKD, avanzando la investigación en la intersección de AL y KD.

English

Knowledge distillation (KD) is a widely used framework for training compact, task-specific models by leveraging the knowledge of teacher models. However, its application to active learning (AL), which aims to minimize annotation costs through iterative sample selection, remains underexplored. This gap stems from the fact that KD typically assumes access to sufficient labeled data, whereas AL operates in data-scarce scenarios where task-specific teacher models are often unavailable. In this paper, we introduce ActiveKD, a framework that integrates AL with KD by leveraging the zero- and few-shot capabilities of large vision-language models (VLMs). A key aspect of ActiveKD is the structured prediction bias of VLMs -- i.e., their predictions form clusters in the probability space. We regard this structure as an inductive bias of the teacher model, capturing generalizable output patterns beneficial to student learning. To exploit this bias, we propose Probabilistic CoreSet (PCoreSet), a selection strategy that maximizes coverage in the probability space rather than the feature space. PCoreSet strategically selects categorically diverse unlabeled samples, facilitating more efficient transfer of teacher knowledge under limited annotation budgets. Evaluations on 11 datasets show that PCoreSet consistently outperforms existing selection methods within the ActiveKD framework, advancing research at the intersection of AL and KD.