Adaptação Semi-Supervisionada a Ruído: Transferência de Conhecimento do Domínio de Ruído

Resumo

O aprendizado por transferência tem como objetivo facilitar o aprendizado de um domínio alvo ao transferir conhecimento de um domínio fonte. O domínio fonte geralmente contém amostras semanticamente significativas (*e.g.*, imagens) para facilitar a transferência eficaz de conhecimento. No entanto, um estudo recente observa que o domínio de ruído construído a partir de distribuições simples (*e.g.*, distribuições Gaussianas) pode servir como um domínio fonte substituto no contexto semi-supervisionado, onde apenas uma pequena proporção das amostras alvo são rotuladas, enquanto a maioria permanece não rotulada. Com base nessa observação surpreendente, formulamos um problema inédito denominado *Adaptação ao Ruído Semi-Supervisionada* (SSNA, do inglês *Semi-Supervised Noise Adaptation*), que visa aproveitar um domínio de ruído sintético para melhorar a generalização do domínio alvo. Para abordar esse problema, primeiro estabelecemos um limite de generalização que caracteriza o efeito do domínio de ruído na generalização, com base no qual propomos uma Estrutura de Adaptação ao Ruído (NAF, do inglês *Noise Adaptation Framework*). Experimentos extensivos demonstram que a NAF utiliza efetivamente o domínio de ruído para restringir o limite de generalização do domínio alvo, resultando em melhor desempenho. Os códigos estão disponíveis em https://github.com/AIResearch-Group/SSNA.

English

Transfer learning aims to facilitate the learning of a target domain by transferring knowledge from a source domain. The source domain typically contains semantically meaningful samples (*e.g.*, images) to facilitate effective knowledge transfer. However, a recent study observes that the noise domain constructed from simple distributions (*e.g.*, Gaussian distributions) can serve as a surrogate source domain in the semi-supervised setting, where only a small proportion of target samples are labeled while most remain unlabeled. Based on this surprising observation, we formulate a novel problem termed *Semi-Supervised Noise Adaptation* (SSNA), which aims to leverage a synthetic noise domain to improve the generalization of the target domain. To address this problem, we first establish a generalization bound characterizing the effect of the noise domain on generalization, based on which we propose a Noise Adaptation Framework (NAF). Extensive experiments demonstrate that NAF effectively leverages the noise domain to tighten the generalization bound of the target domain, leading to improved performance. The codes are available at https://github.com/AIResearch-Group/SSNA.