Идемпотентная Генеративная Сеть

Idempotent Generative Network

November 2, 2023

Авторы: Assaf Shocher, Amil Dravid, Yossi Gandelsman, Inbar Mosseri, Michael Rubinstein, Alexei A. Efros

cs.AI

Аннотация

Мы предлагаем новый подход для генеративного моделирования, основанный на обучении нейронной сети быть идемпотентной. Идемпотентный оператор — это оператор, который может применяться последовательно без изменения результата после первого применения, то есть выполняется условие f(f(z))=f(z). Предложенная модель f обучается для отображения исходного распределения (например, гауссовского шума) на целевое распределение (например, реалистичные изображения) с использованием следующих целей: (1) Образцы из целевого распределения должны отображаться на самих себя, то есть f(x)=x. Мы определяем целевое многообразие как множество всех образцов, которые f отображает на самих себя. (2) Образцы, формирующие исходное распределение, должны отображаться на определенное целевое многообразие. Это достигается путем оптимизации идемпотентного члена f(f(z))=f(z), который способствует тому, чтобы область значений f(z) находилась на целевом многообразии. В идеальных условиях такой процесс гарантированно сходится к целевому распределению. Данная стратегия позволяет получить модель, способную генерировать выходные данные за один шаг, сохраняя согласованное латентное пространство, а также допускать последовательные применения для уточнения. Кроме того, мы обнаружили, что, обрабатывая входные данные как из целевого, так и из исходного распределений, модель эффективно проецирует искаженные или измененные данные обратно на целевое многообразие. Данная работа представляет собой первый шаг к созданию «глобального проектора», который позволяет проецировать любой входной сигнал в целевое распределение данных.

English

We propose a new approach for generative modeling based on training a neural network to be idempotent. An idempotent operator is one that can be applied sequentially without changing the result beyond the initial application, namely f(f(z))=f(z). The proposed model f is trained to map a source distribution (e.g, Gaussian noise) to a target distribution (e.g. realistic images) using the following objectives: (1) Instances from the target distribution should map to themselves, namely f(x)=x. We define the target manifold as the set of all instances that f maps to themselves. (2) Instances that form the source distribution should map onto the defined target manifold. This is achieved by optimizing the idempotence term, f(f(z))=f(z) which encourages the range of f(z) to be on the target manifold. Under ideal assumptions such a process provably converges to the target distribution. This strategy results in a model capable of generating an output in one step, maintaining a consistent latent space, while also allowing sequential applications for refinement. Additionally, we find that by processing inputs from both target and source distributions, the model adeptly projects corrupted or modified data back to the target manifold. This work is a first step towards a ``global projector'' that enables projecting any input into a target data distribution.