준지도 노이즈 적응: 노이즈 도메인으로부터의 지식 전이

초록

전이 학습은 소스 도메인의 지식을 전이하여 타겟 도메인의 학습을 용이하게 하는 것을 목표로 한다. 소스 도메인은 일반적으로 효과적인 지식 전이를 위해 의미적으로 유의미한 샘플(예: 이미지)을 포함한다. 그러나 최근 연구에서는 단순한 분포(예: 가우시안 분포)로 구성된 노이즈 도메인이 준지도 설정에서 대리 소스 도메인으로 활용될 수 있음을 관찰했으며, 이 설정에서는 타겟 샘플 중 소수만 레이블이 있고 대부분은 레이블이 없는 상태이다. 이 놀라운 관찰을 바탕으로, 우리는 합성 노이즈 도메인을 활용하여 타겟 도메인의 일반화 성능을 향상시키는 것을 목표로 하는 '준지도 노이즈 적응(Semi-Supervised Noise Adaptation, SSNA)'이라는 새로운 문제를 정식화한다. 이 문제를 해결하기 위해, 우리는 먼저 노이즈 도메인이 일반화에 미치는 영향을 특성화하는 일반화 경계(generalization bound)를 설정하고, 이를 기반으로 노이즈 적응 프레임워크(Noise Adaptation Framework, NAF)를 제안한다. 광범위한 실험을 통해 NAF가 노이즈 도메인을 효과적으로 활용하여 타겟 도메인의 일반화 경계를 강화(즉, 좁힘)하고, 그 결과 성능이 향상됨을 입증한다. 코드는 https://github.com/AIResearch-Group/SSNA에서 확인할 수 있다.

English

Transfer learning aims to facilitate the learning of a target domain by transferring knowledge from a source domain. The source domain typically contains semantically meaningful samples (*e.g.*, images) to facilitate effective knowledge transfer. However, a recent study observes that the noise domain constructed from simple distributions (*e.g.*, Gaussian distributions) can serve as a surrogate source domain in the semi-supervised setting, where only a small proportion of target samples are labeled while most remain unlabeled. Based on this surprising observation, we formulate a novel problem termed *Semi-Supervised Noise Adaptation* (SSNA), which aims to leverage a synthetic noise domain to improve the generalization of the target domain. To address this problem, we first establish a generalization bound characterizing the effect of the noise domain on generalization, based on which we propose a Noise Adaptation Framework (NAF). Extensive experiments demonstrate that NAF effectively leverages the noise domain to tighten the generalization bound of the target domain, leading to improved performance. The codes are available at https://github.com/AIResearch-Group/SSNA.