Effiziente generative Modellierung mit auf Restvektorquantisierung basierenden Tokens.

Efficient Generative Modeling with Residual Vector Quantization-Based Tokens

December 13, 2024

Autoren: Jaehyeon Kim, Taehong Moon, Keon Lee, Jaewoong Cho

cs.AI

Zusammenfassung

Wir untersuchen den Einsatz von Residual Vector Quantization (RVQ) für die hochauflösende Generierung in vektor-quantisierten generativen Modellen. Diese Quantisierungstechnik gewährleistet eine höhere Datenfidelität durch die Verwendung von detaillierteren Tokens. Allerdings führt eine Erhöhung der Token-Anzahl in generativen Modellen zu langsameren Inferenzgeschwindigkeiten. Zu diesem Zweck stellen wir ResGen vor, ein effizientes RVQ-basiertes diskretes Diffusionsmodell, das hochauflösende Proben generiert, ohne die Probenahmegeschwindigkeit zu beeinträchtigen. Unsere Schlüsselidee besteht darin, die direkte Vorhersage der Vektoreinbettung von kollektiven Tokens anstelle von individuellen zu nutzen. Darüber hinaus zeigen wir, dass unsere vorgeschlagene Token-Maskierung und Multi-Token-Vorhersagemethode in einem fundierten probabilistischen Rahmen mithilfe eines diskreten Diffusionsprozesses und variationaler Inferenz formuliert werden können. Wir validieren die Wirksamkeit und Generalisierbarkeit der vorgeschlagenen Methode bei zwei anspruchsvollen Aufgaben in verschiedenen Modalitäten: bedingte Bildgenerierung auf ImageNet 256x256 und Zero-Shot Text-zu-Sprache-Synthese. Experimentelle Ergebnisse zeigen, dass ResGen in beiden Aufgaben autoregressive Gegenstücke übertrifft und eine überlegene Leistung ohne Beeinträchtigung der Probenahmegeschwindigkeit bietet. Darüber hinaus zeigen unsere generativen Modelle bei Skalierung der Tiefe von RVQ eine verbesserte Generierungsfidelität oder schnellere Probenahmegeschwindigkeiten im Vergleich zu ähnlich großen Basismodellen. Die Projektseite ist unter https://resgen-genai.github.io zu finden.

English

We explore the use of Residual Vector Quantization (RVQ) for high-fidelity generation in vector-quantized generative models. This quantization technique maintains higher data fidelity by employing more in-depth tokens. However, increasing the token number in generative models leads to slower inference speeds. To this end, we introduce ResGen, an efficient RVQ-based discrete diffusion model that generates high-fidelity samples without compromising sampling speed. Our key idea is a direct prediction of vector embedding of collective tokens rather than individual ones. Moreover, we demonstrate that our proposed token masking and multi-token prediction method can be formulated within a principled probabilistic framework using a discrete diffusion process and variational inference. We validate the efficacy and generalizability of the proposed method on two challenging tasks across different modalities: conditional image generation} on ImageNet 256x256 and zero-shot text-to-speech synthesis. Experimental results demonstrate that ResGen outperforms autoregressive counterparts in both tasks, delivering superior performance without compromising sampling speed. Furthermore, as we scale the depth of RVQ, our generative models exhibit enhanced generation fidelity or faster sampling speeds compared to similarly sized baseline models. The project page can be found at https://resgen-genai.github.io