Semi-gesuperviseerde ruisadaptatie: kennisoverdracht vanuit het ruisdomein

Samenvatting

Transfer learning heeft als doel het leren van een doeldomein te vergemakkelijken door kennis over te dragen van een brondomein. Het brondomein bevat typisch semantisch betekenisvolle samples (bijv. afbeeldingen) om effectieve kennisoverdracht te faciliteren. Een recente studie observeert echter dat het ruisdomein, geconstrueerd uit eenvoudige verdelingen (bijv. Gaussiaanse verdelingen), kan dienen als een surrogaat brondomein in de semi-gesuperviseerde setting, waarbij slechts een klein deel van de doelsamples gelabeld is terwijl de meeste ongelabeld blijven. Op basis van deze verrassende observatie formuleren we een nieuw probleem, genaamd *Semi-Supervised Noise Adaptation* (SSNA), dat streeft naar het gebruik van een synthetisch ruisdomein om de generalisatie van het doeldomein te verbeteren. Om dit probleem aan te pakken stellen we eerst een generalisatiegrens op die het effect van het ruisdomein op generalisatie karakteriseert, op basis waarvan we een *Noise Adaptation Framework* (NAF) voorstellen. Uitgebreide experimenten tonen aan dat NAF effectief gebruik maakt van het ruisdomein om de generalisatiegrens van het doeldomein te verscherpen, wat leidt tot verbeterde prestaties. De code is beschikbaar op https://github.com/AIResearch-Group/SSNA.

English

Transfer learning aims to facilitate the learning of a target domain by transferring knowledge from a source domain. The source domain typically contains semantically meaningful samples (*e.g.*, images) to facilitate effective knowledge transfer. However, a recent study observes that the noise domain constructed from simple distributions (*e.g.*, Gaussian distributions) can serve as a surrogate source domain in the semi-supervised setting, where only a small proportion of target samples are labeled while most remain unlabeled. Based on this surprising observation, we formulate a novel problem termed *Semi-Supervised Noise Adaptation* (SSNA), which aims to leverage a synthetic noise domain to improve the generalization of the target domain. To address this problem, we first establish a generalization bound characterizing the effect of the noise domain on generalization, based on which we propose a Noise Adaptation Framework (NAF). Extensive experiments demonstrate that NAF effectively leverages the noise domain to tighten the generalization bound of the target domain, leading to improved performance. The codes are available at https://github.com/AIResearch-Group/SSNA.