Wavelets sind alles, was Sie für die autoregressive Bildgenerierung benötigen.

Wavelets Are All You Need for Autoregressive Image Generation

June 28, 2024

Autoren: Wael Mattar, Idan Levy, Nir Sharon, Shai Dekel

cs.AI

Zusammenfassung

In diesem Paper verfolgen wir einen neuen Ansatz zur autoregressiven Bildgenerierung, der auf zwei Hauptkomponenten basiert. Die erste Komponente ist die Wavelet-Bildcodierung, die es ermöglicht, die visuellen Details eines Bildes von groben zu feinen Details zu tokenisieren, indem die Informationen beginnend mit den signifikantesten Bits der signifikantesten Wavelet-Koeffizienten angeordnet werden. Die zweite Komponente ist eine Variante eines Sprachtransformators, dessen Architektur für Tokenfolgen in dieser 'Wavelet-Sprache' neu gestaltet und optimiert ist. Der Transformator lernt die signifikanten statistischen Korrelationen innerhalb einer Tokenfolge, die Manifestationen der bekannten Korrelationen zwischen den Wavelet-Subbändern bei verschiedenen Auflösungen sind. Wir zeigen experimentelle Ergebnisse unter Konditionierung des Generierungsprozesses.

English

In this paper, we take a new approach to autoregressive image generation that is based on two main ingredients. The first is wavelet image coding, which allows to tokenize the visual details of an image from coarse to fine details by ordering the information starting with the most significant bits of the most significant wavelet coefficients. The second is a variant of a language transformer whose architecture is re-designed and optimized for token sequences in this 'wavelet language'. The transformer learns the significant statistical correlations within a token sequence, which are the manifestations of well-known correlations between the wavelet subbands at various resolutions. We show experimental results with conditioning on the generation process.