Modelagem Generativa Eficiente com Tokens Baseados em Quantização Vetorial Residual

Efficient Generative Modeling with Residual Vector Quantization-Based Tokens

December 13, 2024

Autores: Jaehyeon Kim, Taehong Moon, Keon Lee, Jaewoong Cho

cs.AI

Resumo

Exploramos o uso da Quantização Vetorial Residual (QVR) para geração de alta fidelidade em modelos generativos quantizados por vetores. Essa técnica de quantização mantém uma fidelidade de dados mais alta ao empregar tokens mais aprofundados. No entanto, aumentar o número de tokens em modelos generativos resulta em velocidades de inferência mais lentas. Para isso, introduzimos o ResGen, um modelo de difusão discreta eficiente baseado em QVR que gera amostras de alta fidelidade sem comprometer a velocidade de amostragem. Nossa ideia-chave é a previsão direta da incorporação vetorial de tokens coletivos em vez de individuais. Além disso, demonstramos que nosso método proposto de mascaramento de tokens e previsão multi-token pode ser formulado dentro de um framework probabilístico fundamentado usando um processo de difusão discreta e inferência variacional. Validamos a eficácia e generalizabilidade do método proposto em duas tarefas desafiadoras em diferentes modalidades: geração de imagens condicionais no ImageNet 256x256 e síntese de texto para fala sem treinamento. Resultados experimentais demonstram que o ResGen supera contrapartes autoregressivas em ambas as tarefas, oferecendo desempenho superior sem comprometer a velocidade de amostragem. Além disso, à medida que aumentamos a profundidade da QVR, nossos modelos generativos exibem uma fidelidade de geração aprimorada ou velocidades de amostragem mais rápidas em comparação com modelos de referência de tamanho semelhante. A página do projeto pode ser encontrada em https://resgen-genai.github.io

English

We explore the use of Residual Vector Quantization (RVQ) for high-fidelity generation in vector-quantized generative models. This quantization technique maintains higher data fidelity by employing more in-depth tokens. However, increasing the token number in generative models leads to slower inference speeds. To this end, we introduce ResGen, an efficient RVQ-based discrete diffusion model that generates high-fidelity samples without compromising sampling speed. Our key idea is a direct prediction of vector embedding of collective tokens rather than individual ones. Moreover, we demonstrate that our proposed token masking and multi-token prediction method can be formulated within a principled probabilistic framework using a discrete diffusion process and variational inference. We validate the efficacy and generalizability of the proposed method on two challenging tasks across different modalities: conditional image generation} on ImageNet 256x256 and zero-shot text-to-speech synthesis. Experimental results demonstrate that ResGen outperforms autoregressive counterparts in both tasks, delivering superior performance without compromising sampling speed. Furthermore, as we scale the depth of RVQ, our generative models exhibit enhanced generation fidelity or faster sampling speeds compared to similarly sized baseline models. The project page can be found at https://resgen-genai.github.io