Het schalen van beeldtokenizers met gegroepeerde sferische kwantisatie.

Scaling Image Tokenizers with Grouped Spherical Quantization

December 3, 2024

Auteurs: Jiangtao Wang, Zhen Qin, Yifan Zhang, Vincent Tao Hu, Björn Ommer, Rania Briq, Stefan Kesselheim

cs.AI

Samenvatting

Vision tokenizers hebben veel aandacht gekregen vanwege hun schaalbaarheid en compactheid; eerdere werken zijn afhankelijk van ouderwetse GAN-gebaseerde hyperparameters, bevooroordeelde vergelijkingen, en een gebrek aan uitgebreide analyse van de schaalbaarheidsgedragingen. Om deze problemen aan te pakken, introduceren we Grouped Spherical Quantization (GSQ), met sferische codeboekinitialisatie en lookup-regulering om het codeboeklatent te beperken tot een sferisch oppervlak. Onze empirische analyse van trainingsstrategieën voor beeldtokenizer toont aan dat GSQ-GAN superieure reconstructiekwaliteit behaalt ten opzichte van state-of-the-art methoden met minder trainingsiteraties, wat een solide basis biedt voor schaalstudies. Voortbouwend hierop onderzoeken we systematisch de schaalbaarheidsgedragingen van GSQ, specifiek in latente dimensionaliteit, codeboekgrootte en compressieverhoudingen, en hun impact op de modelprestaties. Onze bevindingen onthullen verschillende gedragingen bij hoge en lage ruimtelijke compressieniveaus, waarbij de uitdagingen in het representeren van hoog-dimensionale latente ruimtes worden benadrukt. We tonen aan dat GSQ hoog-dimensionale latenties kan herstructureren naar compacte, laag-dimensionale ruimtes, waardoor efficiënte schaling met verbeterde kwaliteit mogelijk is. Als gevolg hiervan behaalt GSQ-GAN een 16x down-sampling met een reconstructie FID (rFID) van 0.50.

English

Vision tokenizers have gained a lot of attraction due to their scalability and compactness; previous works depend on old-school GAN-based hyperparameters, biased comparisons, and a lack of comprehensive analysis of the scaling behaviours. To tackle those issues, we introduce Grouped Spherical Quantization (GSQ), featuring spherical codebook initialization and lookup regularization to constrain codebook latent to a spherical surface. Our empirical analysis of image tokenizer training strategies demonstrates that GSQ-GAN achieves superior reconstruction quality over state-of-the-art methods with fewer training iterations, providing a solid foundation for scaling studies. Building on this, we systematically examine the scaling behaviours of GSQ, specifically in latent dimensionality, codebook size, and compression ratios, and their impact on model performance. Our findings reveal distinct behaviours at high and low spatial compression levels, underscoring challenges in representing high-dimensional latent spaces. We show that GSQ can restructure high-dimensional latent into compact, low-dimensional spaces, thus enabling efficient scaling with improved quality. As a result, GSQ-GAN achieves a 16x down-sampling with a reconstruction FID (rFID) of 0.50.