Ruis kan overdraagbare kennis bevatten: Semi-gesuperviseerde heterogene domeinadaptatie begrijpen vanuit een empirisch perspectief

Noise May Contain Transferable Knowledge: Understanding Semi-supervised Heterogeneous Domain Adaptation from an Empirical Perspective

February 19, 2025

Auteurs: Yuan Yao, Xiaopu Zhang, Yu Zhang, Jian Jin, Qiang Yang

cs.AI

Samenvatting

Semi-supervised heterogene domeinadaptatie (SHDA) richt zich op leren over domeinen met verschillende kenmerkrepresentaties en verdelingen, waarbij bronmonsters gelabeld zijn terwijl de meeste doelmonsters ongelabeld zijn, met slechts een klein deel gelabeld. Bovendien is er geen één-op-één correspondentie tussen bron- en doelmonsters. Hoewel diverse SHDA-methoden zijn ontwikkeld om dit probleem aan te pakken, blijft de aard van de kennis die over heterogene domeinen wordt overgedragen onduidelijk. Dit artikel gaat dieper in op deze vraag vanuit een empirisch perspectief. We voeren uitgebreide experimenten uit op ongeveer 330 SHDA-taken, waarbij we twee gesuperviseerde leermethoden en zeven representatieve SHDA-methoden gebruiken. Verrassend genoeg geven onze observaties aan dat zowel de categorie- als kenmerkinformatie van bronmonsters geen significante invloed hebben op de prestaties van het doeldomein. Daarnaast kan ruis afkomstig van eenvoudige verdelingen, wanneer gebruikt als bronmonsters, overdraagbare kennis bevatten. Op basis van dit inzicht voeren we een reeks experimenten uit om de onderliggende principes van overdraagbare kennis in SHDA te ontdekken. Specifiek ontwerpen we een uniform Kennisoverdrachtsraamwerk (KTF) voor SHDA. Op basis van het KTF ontdekken we dat de overdraagbare kennis in SHDA voornamelijk voortkomt uit de overdraagbaarheid en onderscheidbaarheid van het brondomein. Het waarborgen van deze eigenschappen in bronmonsters, ongeacht hun oorsprong (bijv. afbeelding, tekst, ruis), kan de effectiviteit van kennisoverdracht in SHDA-taken verbeteren. De codes en datasets zijn beschikbaar op https://github.com/yyyaoyuan/SHDA.

English

Semi-supervised heterogeneous domain adaptation (SHDA) addresses learning across domains with distinct feature representations and distributions, where source samples are labeled while most target samples are unlabeled, with only a small fraction labeled. Moreover, there is no one-to-one correspondence between source and target samples. Although various SHDA methods have been developed to tackle this problem, the nature of the knowledge transferred across heterogeneous domains remains unclear. This paper delves into this question from an empirical perspective. We conduct extensive experiments on about 330 SHDA tasks, employing two supervised learning methods and seven representative SHDA methods. Surprisingly, our observations indicate that both the category and feature information of source samples do not significantly impact the performance of the target domain. Additionally, noise drawn from simple distributions, when used as source samples, may contain transferable knowledge. Based on this insight, we perform a series of experiments to uncover the underlying principles of transferable knowledge in SHDA. Specifically, we design a unified Knowledge Transfer Framework (KTF) for SHDA. Based on the KTF, we find that the transferable knowledge in SHDA primarily stems from the transferability and discriminability of the source domain. Consequently, ensuring those properties in source samples, regardless of their origin (e.g., image, text, noise), can enhance the effectiveness of knowledge transfer in SHDA tasks. The codes and datasets are available at https://github.com/yyyaoyuan/SHDA.