멱등 생성 네트워크

초록

우리는 신경망을 멱등(idempotent)적으로 학습시키는 새로운 생성 모델링 접근법을 제안한다. 멱등 연산자는 초기 적용 이후 결과를 변경하지 않고 순차적으로 적용할 수 있는 연산자로, 즉 f(f(z))=f(z)를 만족한다. 제안된 모델 f는 소스 분포(예: 가우시안 노이즈)를 타겟 분포(예: 사실적인 이미지)로 매핑하도록 다음과 같은 목표를 통해 학습된다: (1) 타겟 분포의 인스턴스는 자기 자신으로 매핑되어야 하며, 즉 f(x)=x이다. 우리는 f가 자기 자신으로 매핑하는 모든 인스턴스의 집합을 타겟 매니폴드로 정의한다. (2) 소스 분포를 구성하는 인스턴스는 정의된 타겟 매니폴드 위로 매핑되어야 한다. 이는 멱등 항 f(f(z))=f(z)를 최적화함으로써 달성되며, 이는 f(z)의 범위가 타겟 매니폴드 위에 있도록 유도한다. 이상적인 가정 하에서 이러한 과정은 타겟 분포로의 수렴을 보장한다. 이 전략은 한 단계에서 출력을 생성할 수 있는 모델을 만들어내며, 일관된 잠재 공간을 유지하면서도 순차적 적용을 통한 개선을 가능하게 한다. 추가적으로, 타겟 및 소스 분포 모두에서 입력을 처리함으로써 모델이 손상되거나 수정된 데이터를 타겟 매니폴드로 다시 투영하는 데 능숙함을 발견했다. 이 연구는 모든 입력을 타겟 데이터 분포로 투영할 수 있는 "글로벌 프로젝터"로 나아가는 첫 걸음이다.

English

We propose a new approach for generative modeling based on training a neural network to be idempotent. An idempotent operator is one that can be applied sequentially without changing the result beyond the initial application, namely f(f(z))=f(z). The proposed model f is trained to map a source distribution (e.g, Gaussian noise) to a target distribution (e.g. realistic images) using the following objectives: (1) Instances from the target distribution should map to themselves, namely f(x)=x. We define the target manifold as the set of all instances that f maps to themselves. (2) Instances that form the source distribution should map onto the defined target manifold. This is achieved by optimizing the idempotence term, f(f(z))=f(z) which encourages the range of f(z) to be on the target manifold. Under ideal assumptions such a process provably converges to the target distribution. This strategy results in a model capable of generating an output in one step, maintaining a consistent latent space, while also allowing sequential applications for refinement. Additionally, we find that by processing inputs from both target and source distributions, the model adeptly projects corrupted or modified data back to the target manifold. This work is a first step towards a ``global projector'' that enables projecting any input into a target data distribution.

멱등 생성 네트워크

Idempotent Generative Network

초록

Support