Le bruit peut contenir des connaissances transférables : Comprendre l'adaptation de domaine hétérogène semi-supervisée d'un point de vue empirique

Noise May Contain Transferable Knowledge: Understanding Semi-supervised Heterogeneous Domain Adaptation from an Empirical Perspective

February 19, 2025

Auteurs: Yuan Yao, Xiaopu Zhang, Yu Zhang, Jian Jin, Qiang Yang

cs.AI

Résumé

L'adaptation de domaine hétérogène semi-supervisée (SHDA) aborde l'apprentissage à travers des domaines présentant des représentations de caractéristiques et des distributions distinctes, où les échantillons sources sont étiquetés tandis que la plupart des échantillons cibles ne le sont pas, avec seulement une petite fraction étiquetée. De plus, il n'existe pas de correspondance un-à-un entre les échantillons sources et cibles. Bien que diverses méthodes SHDA aient été développées pour résoudre ce problème, la nature des connaissances transférées à travers des domaines hétérogènes reste floue. Cet article explore cette question d'un point de vue empirique. Nous menons des expériences approfondies sur environ 330 tâches SHDA, en utilisant deux méthodes d'apprentissage supervisé et sept méthodes SHDA représentatives. Étonnamment, nos observations indiquent que ni la catégorie ni les informations de caractéristiques des échantillons sources n'ont un impact significatif sur la performance du domaine cible. De plus, du bruit tiré de distributions simples, lorsqu'il est utilisé comme échantillons sources, peut contenir des connaissances transférables. Sur la base de cette intuition, nous réalisons une série d'expériences pour découvrir les principes sous-jacents des connaissances transférables en SHDA. Plus précisément, nous concevons un cadre unifié de transfert de connaissances (KTF) pour la SHDA. En nous appuyant sur le KTF, nous constatons que les connaissances transférables en SHDA proviennent principalement de la transférabilité et de la discriminabilité du domaine source. Par conséquent, garantir ces propriétés dans les échantillons sources, quelle que soit leur origine (par exemple, image, texte, bruit), peut améliorer l'efficacité du transfert de connaissances dans les tâches SHDA. Les codes et les jeux de données sont disponibles à l'adresse https://github.com/yyyaoyuan/SHDA.

English

Semi-supervised heterogeneous domain adaptation (SHDA) addresses learning across domains with distinct feature representations and distributions, where source samples are labeled while most target samples are unlabeled, with only a small fraction labeled. Moreover, there is no one-to-one correspondence between source and target samples. Although various SHDA methods have been developed to tackle this problem, the nature of the knowledge transferred across heterogeneous domains remains unclear. This paper delves into this question from an empirical perspective. We conduct extensive experiments on about 330 SHDA tasks, employing two supervised learning methods and seven representative SHDA methods. Surprisingly, our observations indicate that both the category and feature information of source samples do not significantly impact the performance of the target domain. Additionally, noise drawn from simple distributions, when used as source samples, may contain transferable knowledge. Based on this insight, we perform a series of experiments to uncover the underlying principles of transferable knowledge in SHDA. Specifically, we design a unified Knowledge Transfer Framework (KTF) for SHDA. Based on the KTF, we find that the transferable knowledge in SHDA primarily stems from the transferability and discriminability of the source domain. Consequently, ensuring those properties in source samples, regardless of their origin (e.g., image, text, noise), can enhance the effectiveness of knowledge transfer in SHDA tasks. The codes and datasets are available at https://github.com/yyyaoyuan/SHDA.