半教師ありノイズ適応：ノイズ領域からの知識転移

要旨

転移学習は、ソースドメインから知識を転移することでターゲットドメインの学習を促進することを目的とする。ソースドメインは通常、効果的な知識転移を促進するために、意味的に意味のあるサンプル（例：画像）を含む。しかし、最近の研究では、単純な分布（例：ガウス分布）から構築されたノイズドメインが、ターゲットサンプルのごく一部のみがラベル付けされ、残りのほとんどがラベルなしである半教師あり設定において、代理ソースドメインとして機能できることが観察されている。この驚くべき観察に基づき、我々は「半教師ありノイズ適応（SSNA）」と称する新たな問題を定式化する。これは、合成ノイズドメインを活用してターゲットドメインの汎化を向上させることを目的とする。この問題に対処するため、まずノイズドメインが汎化に与える影響を特徴付ける汎化バウンドを確立し、それに基づいてノイズ適応フレームワーク（NAF）を提案する。広範な実験により、NAFがノイズドメインを効果的に活用してターゲットドメインの汎化バウンドを厳格化し、性能向上につながることが示された。コードは https://github.com/AIResearch-Group/SSNA で入手可能である。

English

Transfer learning aims to facilitate the learning of a target domain by transferring knowledge from a source domain. The source domain typically contains semantically meaningful samples (*e.g.*, images) to facilitate effective knowledge transfer. However, a recent study observes that the noise domain constructed from simple distributions (*e.g.*, Gaussian distributions) can serve as a surrogate source domain in the semi-supervised setting, where only a small proportion of target samples are labeled while most remain unlabeled. Based on this surprising observation, we formulate a novel problem termed *Semi-Supervised Noise Adaptation* (SSNA), which aims to leverage a synthetic noise domain to improve the generalization of the target domain. To address this problem, we first establish a generalization bound characterizing the effect of the noise domain on generalization, based on which we propose a Noise Adaptation Framework (NAF). Extensive experiments demonstrate that NAF effectively leverages the noise domain to tighten the generalization bound of the target domain, leading to improved performance. The codes are available at https://github.com/AIResearch-Group/SSNA.