Kubische Diskrete Diffusion: Diskrete visuelle Generierung auf hochdimensionalen Repräsentationstokens
Cubic Discrete Diffusion: Discrete Visual Generation on High-Dimensional Representation Tokens
March 19, 2026
Autoren: Yuqing Wang, Chuofan Ma, Zhijie Lin, Yao Teng, Lijun Yu, Shuai Wang, Jiaming Han, Jiashi Feng, Yi Jiang, Xihui Liu
cs.AI
Zusammenfassung
Visuelle Generierung mit diskreten Token hat erheblich an Bedeutung gewonnen, da sie ein einheitliches Token-Vorhersageparadigma ermöglicht, das mit Sprachmodellen geteilt werden kann und nahtlose multimodale Architekturen verspricht. Allerdings sind aktuelle diskrete Generierungsmethoden nach wie vor auf niedrigdimensionale latente Token (typischerweise 8-32 Dimensionen) beschränkt, was den für das Verständnis essenziellen semantischen Reichtum opfert. Während hochdimensionale vortrainierte Repräsentationen (768-1024 Dimensionen) diese Lücke schließen könnten, stellt ihre diskrete Generierung grundlegende Herausforderungen dar. In diesem Artikel präsentieren wir Cubic Discrete Diffusion (CubiD), das erste diskrete Generierungsmodell für hochdimensionale Repräsentationen. CubiD führt feinkörniges Maskieren über die gesamte hochdimensionale diskrete Repräsentation hinweg durch – jede Dimension an jeder Position kann maskiert und aus partiellen Beobachtungen vorhergesagt werden. Dies ermöglicht es dem Modell, reiche Korrelationen sowohl innerhalb als auch zwischen räumlichen Positionen zu erlernen, wobei die Anzahl der Generierungsschritte unabhängig von der Feature-Dimensionalität auf T festgelegt ist, wobei T ≪ hwd gilt. Auf ImageNet-256 erreicht CubiD state-of-the-art diskrete Generierung mit starkem Skalierungsverhalten von 900M bis 3.7B Parametern. Entscheidend ist, dass wir validieren, dass diese diskretisierten Token die ursprünglichen Repräsentationsfähigkeiten bewahren, und demonstrieren, dass dieselben diskreten Token sowohl Verstehens- als auch Generierungsaufgaben effektiv bedienen können. Wir hoffen, dass diese Arbeit zukünftige Forschung hin zu vereinheitlichten multimodalen Architekturen inspirieren wird. Code ist verfügbar unter: https://github.com/YuqingWang1029/CubiD.
English
Visual generation with discrete tokens has gained significant attention as it enables a unified token prediction paradigm shared with language models, promising seamless multimodal architectures. However, current discrete generation methods remain limited to low-dimensional latent tokens (typically 8-32 dims), sacrificing the semantic richness essential for understanding. While high-dimensional pretrained representations (768-1024 dims) could bridge this gap, their discrete generation poses fundamental challenges. In this paper, we present Cubic Discrete Diffusion (CubiD), the first discrete generation model for high-dimensional representations. CubiD performs fine-grained masking throughout the high-dimensional discrete representation -- any dimension at any position can be masked and predicted from partial observations. This enables the model to learn rich correlations both within and across spatial positions, with the number of generation steps fixed at T regardless of feature dimensionality, where T ll hwd. On ImageNet-256, CubiD achieves state-of-the-art discrete generation with strong scaling behavior from 900M to 3.7B parameters. Crucially, we validate that these discretized tokens preserve original representation capabilities, demonstrating that the same discrete tokens can effectively serve both understanding and generation tasks. We hope this work will inspire future research toward unified multimodal architectures. Code is available at: https://github.com/YuqingWang1029/CubiD.