Kubische Discrete Diffusie: Discrete Visuele Generatie op Hoogdimensionale Representatietokens
Cubic Discrete Diffusion: Discrete Visual Generation on High-Dimensional Representation Tokens
March 19, 2026
Auteurs: Yuqing Wang, Chuofan Ma, Zhijie Lin, Yao Teng, Lijun Yu, Shuai Wang, Jiaming Han, Jiashi Feng, Yi Jiang, Xihui Liu
cs.AI
Samenvatting
Visuele generatie met discrete tokens heeft aanzienlijke aandacht gekregen, omdat het een uniform voorspelingsparadigma voor tokens mogelijk maakt dat gedeeld wordt met taalmodellen, wat naadloze multimodale architecturen belooft. Huidige methoden voor discrete generatie blijven echter beperkt tot tokens in een latente ruimte met lage dimensionaliteit (typisch 8-32 dimensies), waarbij de semantische rijkdom die essentieel is voor begrip wordt opgeofferd. Hoogdimensionale voorgetrainde representaties (768-1024 dimensies) deze kloof zouden kunnen overbruggen, maar hun discrete generatie vormt fundamentele uitdagingen. In dit artikel presenteren we Cubic Discrete Diffusion (CubiD), het eerste discrete generatiemodel voor hoogdimensionale representaties. CubiD voert fijnmazige masking uit over de gehele hoogdimensionale discrete representatie – elke dimensie op elke positie kan worden gemaskeerd en voorspeld op basis van gedeeltelijke observaties. Hierdoor kan het model rijke correlaties leren, zowel binnen als tussen ruimtelijke posities, waarbij het aantal generatiestappen vaststaat op T, onafhankelijk van de feature-dimensionaliteit, waarbij T ll hwd. Op ImageNet-256 behaalt CubiD state-of-the-art discrete generatie met een sterke schaalbaarheid van 900M tot 3,7B parameters. Cruciaal is dat we valideren dat deze gediscretiseerde tokens de oorspronkelijke representatiecapaciteiten behouden, wat aantoont dat dezelfde discrete tokens effectief kunnen dienen voor zowel begrips- als generatietaken. We hopen dat dit werk toekomstig onderzoek naar verenigde multimodale architecturen zal inspireren. Code is beschikbaar op: https://github.com/YuqingWang1029/CubiD.
English
Visual generation with discrete tokens has gained significant attention as it enables a unified token prediction paradigm shared with language models, promising seamless multimodal architectures. However, current discrete generation methods remain limited to low-dimensional latent tokens (typically 8-32 dims), sacrificing the semantic richness essential for understanding. While high-dimensional pretrained representations (768-1024 dims) could bridge this gap, their discrete generation poses fundamental challenges. In this paper, we present Cubic Discrete Diffusion (CubiD), the first discrete generation model for high-dimensional representations. CubiD performs fine-grained masking throughout the high-dimensional discrete representation -- any dimension at any position can be masked and predicted from partial observations. This enables the model to learn rich correlations both within and across spatial positions, with the number of generation steps fixed at T regardless of feature dimensionality, where T ll hwd. On ImageNet-256, CubiD achieves state-of-the-art discrete generation with strong scaling behavior from 900M to 3.7B parameters. Crucially, we validate that these discretized tokens preserve original representation capabilities, demonstrating that the same discrete tokens can effectively serve both understanding and generation tasks. We hope this work will inspire future research toward unified multimodal architectures. Code is available at: https://github.com/YuqingWang1029/CubiD.