Diffusion Discrète Cubique : Génération Visuelle Discrète sur des Tokens de Représentation Hautement Dimensionnels
Cubic Discrete Diffusion: Discrete Visual Generation on High-Dimensional Representation Tokens
March 19, 2026
Auteurs: Yuqing Wang, Chuofan Ma, Zhijie Lin, Yao Teng, Lijun Yu, Shuai Wang, Jiaming Han, Jiashi Feng, Yi Jiang, Xihui Liu
cs.AI
Résumé
La génération visuelle avec des tokens discrets a suscité une attention considérable, car elle permet un paradigme unifié de prédiction de tokens partagé avec les modèles de langage, promettant des architectures multimodales transparentes. Cependant, les méthodes actuelles de génération discrète restent limitées à des tokens latents de faible dimensionnalité (généralement 8-32 dimensions), sacrifiant ainsi la richesse sémantique essentielle à la compréhension. Bien que des représentations pré-entraînées de haute dimensionnalité (768-1024 dimensions) puissent combler cet écart, leur génération discrète pose des défis fondamentaux. Dans cet article, nous présentons Cubic Discrete Diffusion (CubiD), le premier modèle de génération discrète pour représentations haute dimension. CubiD effectue un masquage granulaire sur l'ensemble de la représentation discrète haute dimension – toute dimension à toute position peut être masquée et prédite à partir d'observations partielles. Cela permet au modèle d'apprendre des corrélations riches à la fois au sein et entre les positions spatiales, avec un nombre d'étapes de génération fixé à T indépendamment de la dimensionnalité des caractéristiques, où T ≪ hwd. Sur ImageNet-256, CubiD atteint l'état de l'art en génération discrète avec un fort comportement d'échelle de 900M à 3,7B paramètres. Fait crucial, nous validons que ces tokens discrétisés préservent les capacités de représentation originales, démontrant que les mêmes tokens discrets peuvent efficacement servir à la fois aux tâches de compréhension et de génération. Nous espérons que ces travaux inspireront les futures recherches vers des architectures multimodales unifiées. Le code est disponible à l'adresse : https://github.com/YuqingWang1029/CubiD.
English
Visual generation with discrete tokens has gained significant attention as it enables a unified token prediction paradigm shared with language models, promising seamless multimodal architectures. However, current discrete generation methods remain limited to low-dimensional latent tokens (typically 8-32 dims), sacrificing the semantic richness essential for understanding. While high-dimensional pretrained representations (768-1024 dims) could bridge this gap, their discrete generation poses fundamental challenges. In this paper, we present Cubic Discrete Diffusion (CubiD), the first discrete generation model for high-dimensional representations. CubiD performs fine-grained masking throughout the high-dimensional discrete representation -- any dimension at any position can be masked and predicted from partial observations. This enables the model to learn rich correlations both within and across spatial positions, with the number of generation steps fixed at T regardless of feature dimensionality, where T ll hwd. On ImageNet-256, CubiD achieves state-of-the-art discrete generation with strong scaling behavior from 900M to 3.7B parameters. Crucially, we validate that these discretized tokens preserve original representation capabilities, demonstrating that the same discrete tokens can effectively serve both understanding and generation tasks. We hope this work will inspire future research toward unified multimodal architectures. Code is available at: https://github.com/YuqingWang1029/CubiD.