Rauschen kann übertragbares Wissen enthalten: Ein empirischer Blick auf semi-supervisiertes heterogenes Domain-Adaptation

Noise May Contain Transferable Knowledge: Understanding Semi-supervised Heterogeneous Domain Adaptation from an Empirical Perspective

February 19, 2025

Autoren: Yuan Yao, Xiaopu Zhang, Yu Zhang, Jian Jin, Qiang Yang

cs.AI

Zusammenfassung

Semi-supervised Heterogeneous Domain Adaptation (SHDA) befasst sich mit dem Lernen über Domänen hinweg, die unterschiedliche Merkmalsdarstellungen und Verteilungen aufweisen, wobei die Quellstichproben beschriftet sind, während die meisten Zielstichproben unbeschriftet sind, mit nur einem kleinen Anteil an beschrifteten Stichproben. Darüber hinaus besteht keine Eins-zu-eins-Entsprechung zwischen Quell- und Zielstichproben. Obwohl verschiedene SHDA-Methoden entwickelt wurden, um dieses Problem zu lösen, bleibt die Natur des über heterogene Domänen übertragenen Wissens unklar. Diese Arbeit geht dieser Frage aus einer empirischen Perspektive nach. Wir führen umfangreiche Experimente zu etwa 330 SHDA-Aufgaben durch, wobei wir zwei überwachte Lernmethoden und sieben repräsentative SHDA-Methoden verwenden. Überraschenderweise zeigen unsere Beobachtungen, dass weder die Kategorie- noch die Merkmalsinformation der Quellstichproben die Leistung der Zieldomäne signifikant beeinflussen. Zudem kann Rauschen, das aus einfachen Verteilungen gezogen wird, wenn es als Quellstichproben verwendet wird, übertragbares Wissen enthalten. Basierend auf dieser Erkenntnis führen wir eine Reihe von Experimenten durch, um die zugrunde liegenden Prinzipien des übertragbaren Wissens in SHDA aufzudecken. Insbesondere entwerfen wir ein einheitliches Knowledge Transfer Framework (KTF) für SHDA. Auf der Grundlage des KTF stellen wir fest, dass das übertragbare Wissen in SHDA hauptsächlich aus der Übertragbarkeit und Unterscheidbarkeit der Quelldomäne stammt. Folglich kann die Sicherstellung dieser Eigenschaften in Quellstichproben, unabhängig von ihrer Herkunft (z. B. Bild, Text, Rauschen), die Effektivität der Wissensübertragung in SHDA-Aufgaben verbessern. Die Codes und Datensätze sind unter https://github.com/yyyaoyuan/SHDA verfügbar.

English

Semi-supervised heterogeneous domain adaptation (SHDA) addresses learning across domains with distinct feature representations and distributions, where source samples are labeled while most target samples are unlabeled, with only a small fraction labeled. Moreover, there is no one-to-one correspondence between source and target samples. Although various SHDA methods have been developed to tackle this problem, the nature of the knowledge transferred across heterogeneous domains remains unclear. This paper delves into this question from an empirical perspective. We conduct extensive experiments on about 330 SHDA tasks, employing two supervised learning methods and seven representative SHDA methods. Surprisingly, our observations indicate that both the category and feature information of source samples do not significantly impact the performance of the target domain. Additionally, noise drawn from simple distributions, when used as source samples, may contain transferable knowledge. Based on this insight, we perform a series of experiments to uncover the underlying principles of transferable knowledge in SHDA. Specifically, we design a unified Knowledge Transfer Framework (KTF) for SHDA. Based on the KTF, we find that the transferable knowledge in SHDA primarily stems from the transferability and discriminability of the source domain. Consequently, ensuring those properties in source samples, regardless of their origin (e.g., image, text, noise), can enhance the effectiveness of knowledge transfer in SHDA tasks. The codes and datasets are available at https://github.com/yyyaoyuan/SHDA.