PHI-S: Verteilungsausgleich für Label-freies Multi-Lehrer-Distillation

PHI-S: Distribution Balancing for Label-Free Multi-Teacher Distillation

October 2, 2024

Autoren: Mike Ranzinger, Jon Barker, Greg Heinrich, Pavlo Molchanov, Bryan Catanzaro, Andrew Tao

cs.AI

Zusammenfassung

Verschiedene visuelle Grundlagenmodelle weisen unterschiedliche Stärken und Schwächen auf, die beide durch heterogenes Multi-Lehrer-Wissensdestillation ohne Labels verbessert werden können, bezeichnet als "agglomerative Modelle." Wir bauen auf diesem Forschungsbereich auf, indem wir die Auswirkung der Aktivierungsstatistiken der Lehrer untersuchen, insbesondere den Einfluss der Verlustfunktion auf die resultierende Qualität des Schülermodells. Wir erkunden ein Standard-Toolkit von statistischen Normalisierungstechniken, um die verschiedenen Verteilungen besser anzugleichen und ihre Auswirkungen zu bewerten. Darüber hinaus untersuchen wir den Einfluss auf nachgelagerte Lehrer-Matching-Metriken, was die Verwendung von Hadamard-Matrizen motiviert. Mit diesen Matrizen zeigen wir nützliche Eigenschaften auf und zeigen, wie sie zur isotropen Standardisierung verwendet werden können, wobei jede Dimension einer multivariaten Verteilung unter Verwendung der gleichen Skala standardisiert wird. Wir nennen diese Technik "PHI-Standardisierung" (PHI-S) und zeigen empirisch, dass sie das beste Schülermodell aus der untersuchten Methodensammlung erzeugt.

English

Various visual foundation models have distinct strengths and weaknesses, both of which can be improved through heterogeneous multi-teacher knowledge distillation without labels, termed "agglomerative models." We build upon this body of work by studying the effect of the teachers' activation statistics, particularly the impact of the loss function on the resulting student model quality. We explore a standard toolkit of statistical normalization techniques to better align the different distributions and assess their effects. Further, we examine the impact on downstream teacher-matching metrics, which motivates the use of Hadamard matrices. With these matrices, we demonstrate useful properties, showing how they can be used for isotropic standardization, where each dimension of a multivariate distribution is standardized using the same scale. We call this technique "PHI Standardization" (PHI-S) and empirically demonstrate that it produces the best student model across the suite of methods studied.