Escalando Tokenizadores de Imágenes con Cuantización Esférica Agrupada

Scaling Image Tokenizers with Grouped Spherical Quantization

December 3, 2024

Autores: Jiangtao Wang, Zhen Qin, Yifan Zhang, Vincent Tao Hu, Björn Ommer, Rania Briq, Stefan Kesselheim

cs.AI

Resumen

Los tokenizadores de visión han ganado mucha atracción debido a su escalabilidad y compacidad; trabajos anteriores dependen de hiperparámetros basados en GAN tradicionales, comparaciones sesgadas y una falta de análisis exhaustivo de los comportamientos de escalado. Para abordar estos problemas, presentamos la Cuantización Esférica Agrupada (GSQ), que incluye una inicialización de libro de códigos esférica y regularización de búsqueda para restringir el latente del libro de códigos a una superficie esférica. Nuestro análisis empírico de estrategias de entrenamiento de tokenizador de imágenes demuestra que GSQ-GAN logra una calidad de reconstrucción superior a los métodos de vanguardia con menos iteraciones de entrenamiento, proporcionando una base sólida para estudios de escalado. Basándonos en esto, examinamos sistemáticamente los comportamientos de escalado de GSQ, específicamente en dimensionalidad latente, tamaño del libro de códigos y tasas de compresión, y su impacto en el rendimiento del modelo. Nuestros hallazgos revelan comportamientos distintos en niveles de compresión espacial altos y bajos, subrayando desafíos en la representación de espacios latentes de alta dimensionalidad. Mostramos que GSQ puede reestructurar latentes de alta dimensionalidad en espacios compactos y de baja dimensionalidad, lo que permite un escalado eficiente con calidad mejorada. Como resultado, GSQ-GAN logra un muestreo descendente de 16x con un FID de reconstrucción (rFID) de 0.50.

English

Vision tokenizers have gained a lot of attraction due to their scalability and compactness; previous works depend on old-school GAN-based hyperparameters, biased comparisons, and a lack of comprehensive analysis of the scaling behaviours. To tackle those issues, we introduce Grouped Spherical Quantization (GSQ), featuring spherical codebook initialization and lookup regularization to constrain codebook latent to a spherical surface. Our empirical analysis of image tokenizer training strategies demonstrates that GSQ-GAN achieves superior reconstruction quality over state-of-the-art methods with fewer training iterations, providing a solid foundation for scaling studies. Building on this, we systematically examine the scaling behaviours of GSQ, specifically in latent dimensionality, codebook size, and compression ratios, and their impact on model performance. Our findings reveal distinct behaviours at high and low spatial compression levels, underscoring challenges in representing high-dimensional latent spaces. We show that GSQ can restructure high-dimensional latent into compact, low-dimensional spaces, thus enabling efficient scaling with improved quality. As a result, GSQ-GAN achieves a 16x down-sampling with a reconstruction FID (rFID) of 0.50.