Потоки нормализации - это мощные генеративные модели.

Normalizing Flows are Capable Generative Models

December 9, 2024

Авторы: Shuangfei Zhai, Ruixiang Zhang, Preetum Nakkiran, David Berthelot, Jiatao Gu, Huangjie Zheng, Tianrong Chen, Miguel Angel Bautista, Navdeep Jaitly, Josh Susskind

cs.AI

Аннотация

Потоки нормализации (NF) - это модели на основе правдоподобия для непрерывных входных данных. Они продемонстрировали многообещающие результаты как в задачах оценки плотности, так и в генеративном моделировании, но в последние годы получили относительно мало внимания. В данной работе мы демонстрируем, что NF более мощны, чем ранее считалось. Мы представляем TarFlow: простую и масштабируемую архитектуру, которая позволяет создавать высокопроизводительные модели NF. TarFlow можно рассматривать как вариант на основе трансформера потоков маскированных авторегрессионных потоков (MAF): он состоит из стека авторегрессионных блоков трансформера на патчах изображений, чередуя направление авторегрессии между слоями. TarFlow легко обучать end-to-end и способен прямо моделировать и генерировать пиксели. Мы также предлагаем три ключевые техники для улучшения качества выборки: аугментация гауссовским шумом во время обучения, процедура денойзинга после обучения и эффективный метод руководства как для условно-классовых, так и для безусловных настроек. Объединяя все это, TarFlow устанавливает новые результаты state-of-the-art по оценке правдоподобия для изображений, превосходя предыдущие лучшие методы с большим отрывом, и генерирует образцы с качеством и разнообразием, сравнимыми с моделями диффузии, впервые с использованием автономной модели NF. Мы предоставляем наш код по адресу https://github.com/apple/ml-tarflow.

English

Normalizing Flows (NFs) are likelihood-based models for continuous inputs. They have demonstrated promising results on both density estimation and generative modeling tasks, but have received relatively little attention in recent years. In this work, we demonstrate that NFs are more powerful than previously believed. We present TarFlow: a simple and scalable architecture that enables highly performant NF models. TarFlow can be thought of as a Transformer-based variant of Masked Autoregressive Flows (MAFs): it consists of a stack of autoregressive Transformer blocks on image patches, alternating the autoregression direction between layers. TarFlow is straightforward to train end-to-end, and capable of directly modeling and generating pixels. We also propose three key techniques to improve sample quality: Gaussian noise augmentation during training, a post training denoising procedure, and an effective guidance method for both class-conditional and unconditional settings. Putting these together, TarFlow sets new state-of-the-art results on likelihood estimation for images, beating the previous best methods by a large margin, and generates samples with quality and diversity comparable to diffusion models, for the first time with a stand-alone NF model. We make our code available at https://github.com/apple/ml-tarflow.