PHI-S: Equilibrio de Distribución para la Destilación Multi-Docente sin Etiquetas

PHI-S: Distribution Balancing for Label-Free Multi-Teacher Distillation

October 2, 2024

Autores: Mike Ranzinger, Jon Barker, Greg Heinrich, Pavlo Molchanov, Bryan Catanzaro, Andrew Tao

cs.AI

Resumen

Varios modelos de base visual tienen fortalezas y debilidades distintas, las cuales pueden mejorarse a través de la destilación de conocimiento heterogéneo de múltiples profesores sin etiquetas, denominada "modelos aglomerativos". Ampliamos este conjunto de trabajos estudiando el efecto de las estadísticas de activación de los profesores, en particular el impacto de la función de pérdida en la calidad del modelo resultante del estudiante. Exploramos un conjunto estándar de técnicas de normalización estadística para alinear mejor las diferentes distribuciones y evaluar sus efectos. Además, examinamos el impacto en las métricas de emparejamiento de profesores aguas abajo, lo que motiva el uso de matrices de Hadamard. Con estas matrices, demostramos propiedades útiles, mostrando cómo pueden utilizarse para la estandarización isotrópica, donde cada dimensión de una distribución multivariante se estandariza utilizando la misma escala. Llamamos a esta técnica "Estandarización PHI" (PHI-S) y demostramos empíricamente que produce el mejor modelo de estudiante entre el conjunto de métodos estudiados.

English

Various visual foundation models have distinct strengths and weaknesses, both of which can be improved through heterogeneous multi-teacher knowledge distillation without labels, termed "agglomerative models." We build upon this body of work by studying the effect of the teachers' activation statistics, particularly the impact of the loss function on the resulting student model quality. We explore a standard toolkit of statistical normalization techniques to better align the different distributions and assess their effects. Further, we examine the impact on downstream teacher-matching metrics, which motivates the use of Hadamard matrices. With these matrices, we demonstrate useful properties, showing how they can be used for isotropic standardization, where each dimension of a multivariate distribution is standardized using the same scale. We call this technique "PHI Standardization" (PHI-S) and empirically demonstrate that it produces the best student model across the suite of methods studied.