Adaptation au bruit semi-supervisée : transfert de connaissances depuis le domaine du bruit

Résumé

L'apprentissage par transfert vise à faciliter l'apprentissage d'un domaine cible en transférant des connaissances d'un domaine source. Le domaine source contient généralement des échantillons sémantiquement significatifs (*par exemple*, des images) pour faciliter un transfert de connaissances efficace. Cependant, une étude récente observe que le domaine de bruit construit à partir de distributions simples (*par exemple*, des distributions gaussiennes) peut servir de domaine source de substitution dans le cadre semi-supervisé, où seule une faible proportion des échantillons cibles sont étiquetés tandis que la plupart restent non étiquetés. Sur la base de cette observation surprenante, nous formulons un nouveau problème appelé *Semi-Supervised Noise Adaptation* (SSNA), qui vise à exploiter un domaine de bruit synthétique pour améliorer la généralisation du domaine cible. Pour résoudre ce problème, nous établissons d'abord une borne de généralisation caractérisant l'effet du domaine de bruit sur la généralisation, sur la base de laquelle nous proposons un cadre d'adaptation au bruit (Noise Adaptation Framework, NAF). Des expériences approfondies montrent que le NAF exploite efficacement le domaine de bruit pour resserrer la borne de généralisation du domaine cible, ce qui conduit à une amélioration des performances. Les codes sont disponibles à l'adresse https://github.com/AIResearch-Group/SSNA.

English

Transfer learning aims to facilitate the learning of a target domain by transferring knowledge from a source domain. The source domain typically contains semantically meaningful samples (*e.g.*, images) to facilitate effective knowledge transfer. However, a recent study observes that the noise domain constructed from simple distributions (*e.g.*, Gaussian distributions) can serve as a surrogate source domain in the semi-supervised setting, where only a small proportion of target samples are labeled while most remain unlabeled. Based on this surprising observation, we formulate a novel problem termed *Semi-Supervised Noise Adaptation* (SSNA), which aims to leverage a synthetic noise domain to improve the generalization of the target domain. To address this problem, we first establish a generalization bound characterizing the effect of the noise domain on generalization, based on which we propose a Noise Adaptation Framework (NAF). Extensive experiments demonstrate that NAF effectively leverages the noise domain to tighten the generalization bound of the target domain, leading to improved performance. The codes are available at https://github.com/AIResearch-Group/SSNA.