Le Wavelet Sono Tutto Ciò di Cui Hai Bisogno per la Generazione Autoregressiva di Immagini

Wavelets Are All You Need for Autoregressive Image Generation

June 28, 2024

Autori: Wael Mattar, Idan Levy, Nir Sharon, Shai Dekel

cs.AI

Abstract

In questo articolo, adottiamo un nuovo approccio alla generazione autoregressiva di immagini basato su due ingredienti principali. Il primo è la codifica delle immagini tramite wavelet, che consente di tokenizzare i dettagli visivi di un'immagine dai più grossolani ai più fini, ordinando le informazioni a partire dai bit più significativi dei coefficienti wavelet più rilevanti. Il secondo è una variante di un trasformatore linguistico la cui architettura è stata riprogettata e ottimizzata per sequenze di token in questo "linguaggio wavelet". Il trasformatore apprende le significative correlazioni statistiche all'interno di una sequenza di token, che sono la manifestazione delle ben note correlazioni tra le sottobande wavelet a varie risoluzioni. Presentiamo risultati sperimentali con condizionamento sul processo di generazione.

English

In this paper, we take a new approach to autoregressive image generation that is based on two main ingredients. The first is wavelet image coding, which allows to tokenize the visual details of an image from coarse to fine details by ordering the information starting with the most significant bits of the most significant wavelet coefficients. The second is a variant of a language transformer whose architecture is re-designed and optimized for token sequences in this 'wavelet language'. The transformer learns the significant statistical correlations within a token sequence, which are the manifestations of well-known correlations between the wavelet subbands at various resolutions. We show experimental results with conditioning on the generation process.