Wavelets São Tudo o que Você Precisa para Geração de Imagens Autoregressivas
Wavelets Are All You Need for Autoregressive Image Generation
June 28, 2024
Autores: Wael Mattar, Idan Levy, Nir Sharon, Shai Dekel
cs.AI
Resumo
Neste artigo, adotamos uma nova abordagem para a geração de imagens autoregressivas que se baseia em dois ingredientes principais. O primeiro é a codificação de imagens por wavelets, que permite tokenizar os detalhes visuais de uma imagem de forma gradual, indo dos detalhes mais grosseiros aos mais finos, ordenando as informações a partir dos bits mais significativos dos coeficientes de wavelet mais relevantes. O segundo é uma variante de um transformador de linguagem cuja arquitetura foi redesenhada e otimizada para sequências de tokens nessa 'linguagem de wavelets'. O transformador aprende as correlações estatísticas significativas dentro de uma sequência de tokens, que são manifestações das conhecidas correlações entre as subbandas de wavelets em várias resoluções. Apresentamos resultados experimentais condicionados ao processo de geração.
English
In this paper, we take a new approach to autoregressive image generation that
is based on two main ingredients. The first is wavelet image coding, which
allows to tokenize the visual details of an image from coarse to fine details
by ordering the information starting with the most significant bits of the most
significant wavelet coefficients. The second is a variant of a language
transformer whose architecture is re-designed and optimized for token sequences
in this 'wavelet language'. The transformer learns the significant statistical
correlations within a token sequence, which are the manifestations of
well-known correlations between the wavelet subbands at various resolutions. We
show experimental results with conditioning on the generation process.