Wavelets zijn alles wat je nodig hebt voor autoregressieve beeldgeneratie
Wavelets Are All You Need for Autoregressive Image Generation
June 28, 2024
Auteurs: Wael Mattar, Idan Levy, Nir Sharon, Shai Dekel
cs.AI
Samenvatting
In dit artikel nemen we een nieuwe benadering voor autoregressieve beeldgeneratie die gebaseerd is op twee hoofdingrediënten. Het eerste is waveletbeeldcodering, waarmee de visuele details van een beeld kunnen worden getokeniseerd van grove naar fijne details door de informatie te ordenen, beginnend met de meest significante bits van de meest significante waveletcoëfficiënten. Het tweede is een variant van een taalmodeltransformer waarvan de architectuur is herontworpen en geoptimaliseerd voor tokenreeksen in deze 'wavelettaal'. De transformer leert de significante statistische correlaties binnen een tokenreeks, die de manifestaties zijn van bekende correlaties tussen de waveletsubbanden op verschillende resoluties. We presenteren experimentele resultaten met conditionering op het generatieproces.
English
In this paper, we take a new approach to autoregressive image generation that
is based on two main ingredients. The first is wavelet image coding, which
allows to tokenize the visual details of an image from coarse to fine details
by ordering the information starting with the most significant bits of the most
significant wavelet coefficients. The second is a variant of a language
transformer whose architecture is re-designed and optimized for token sequences
in this 'wavelet language'. The transformer learns the significant statistical
correlations within a token sequence, which are the manifestations of
well-known correlations between the wavelet subbands at various resolutions. We
show experimental results with conditioning on the generation process.