Skalierung von Bild-Tokenizer mit gruppierten sphärischen Quantisierungen.

Scaling Image Tokenizers with Grouped Spherical Quantization

December 3, 2024

Autoren: Jiangtao Wang, Zhen Qin, Yifan Zhang, Vincent Tao Hu, Björn Ommer, Rania Briq, Stefan Kesselheim

cs.AI

Zusammenfassung

Vision-Tokenizer haben aufgrund ihrer Skalierbarkeit und Kompaktheit viel Aufmerksamkeit erregt; frühere Arbeiten basieren auf altmodischen GAN-basierten Hyperparametern, voreingenommenen Vergleichen und einem Mangel an umfassender Analyse des Skalierungsverhaltens. Um diese Probleme anzugehen, führen wir Grouped Spherical Quantization (GSQ) ein, das sphärische Codebuchinitialisierung und Lookup-Regularisierung bietet, um das Codebuchlatent auf einer sphärischen Oberfläche zu beschränken. Unsere empirische Analyse von Bild-Tokenizer-Trainingsstrategien zeigt, dass GSQ-GAN eine überlegene Rekonstruktionsqualität im Vergleich zu State-of-the-Art-Methoden mit weniger Trainingsiterationen erreicht und somit eine solide Grundlage für Skalierungsstudien bietet. Aufbauend darauf untersuchen wir systematisch das Skalierungsverhalten von GSQ, insbesondere in Bezug auf die latente Dimensionalität, die Codebuchgröße und die Kompressionsraten sowie deren Auswirkungen auf die Modellleistung. Unsere Ergebnisse zeigen unterschiedliche Verhaltensweisen bei hohen und niedrigen räumlichen Kompressionsniveaus und betonen die Herausforderungen bei der Darstellung hochdimensionaler latenter Räume. Wir zeigen, dass GSQ hochdimensionale Latente in kompakte, niedrigdimensionale Räume umstrukturieren kann, was eine effiziente Skalierung mit verbesserter Qualität ermöglicht. Als Ergebnis erreicht GSQ-GAN eine 16-fache Down-Sampling mit einem Rekonstruktions-FID (rFID) von 0,50.

English

Vision tokenizers have gained a lot of attraction due to their scalability and compactness; previous works depend on old-school GAN-based hyperparameters, biased comparisons, and a lack of comprehensive analysis of the scaling behaviours. To tackle those issues, we introduce Grouped Spherical Quantization (GSQ), featuring spherical codebook initialization and lookup regularization to constrain codebook latent to a spherical surface. Our empirical analysis of image tokenizer training strategies demonstrates that GSQ-GAN achieves superior reconstruction quality over state-of-the-art methods with fewer training iterations, providing a solid foundation for scaling studies. Building on this, we systematically examine the scaling behaviours of GSQ, specifically in latent dimensionality, codebook size, and compression ratios, and their impact on model performance. Our findings reveal distinct behaviours at high and low spatial compression levels, underscoring challenges in representing high-dimensional latent spaces. We show that GSQ can restructure high-dimensional latent into compact, low-dimensional spaces, thus enabling efficient scaling with improved quality. As a result, GSQ-GAN achieves a 16x down-sampling with a reconstruction FID (rFID) of 0.50.