Difusión Discreta Cúbica: Generación Visual Discreta en Tokens de Representación de Alta Dimensionalidad
Cubic Discrete Diffusion: Discrete Visual Generation on High-Dimensional Representation Tokens
March 19, 2026
Autores: Yuqing Wang, Chuofan Ma, Zhijie Lin, Yao Teng, Lijun Yu, Shuai Wang, Jiaming Han, Jiashi Feng, Yi Jiang, Xihui Liu
cs.AI
Resumen
La generación visual con tokens discretos ha ganado una atención significativa, ya que permite un paradigma unificado de predicción de tokens compartido con los modelos de lenguaje, prometiendo arquitecturas multimodales sin fisuras. Sin embargo, los métodos actuales de generación discreta siguen limitados a tokens latentes de baja dimensionalidad (típicamente 8-32 dimensiones), sacrificando la riqueza semántica esencial para la comprensión. Si bien las representaciones preentrenadas de alta dimensionalidad (768-1024 dimensiones) podrían cerrar esta brecha, su generación discreta plantea desafíos fundamentales. En este artículo, presentamos Cubic Discrete Diffusion (CubiD), el primer modelo de generación discreta para representaciones de alta dimensionalidad. CubiD realiza un enmascaramiento de grano fino a lo largo de la representación discreta de alta dimensionalidad: cualquier dimensión en cualquier posición puede ser enmascarada y predecida a partir de observaciones parciales. Esto permite al modelo aprender correlaciones ricas tanto dentro como entre posiciones espaciales, con el número de pasos de generación fijado en T independientemente de la dimensionalidad de las características, donde T << hwd. En ImageNet-256, CubiD logra una generación discreta de vanguardia con un fuerte comportamiento de escalado desde 900M hasta 3.7B de parámetros. Crucialmente, validamos que estos tokens discretizados preservan las capacidades de representación originales, demostrando que los mismos tokens discretos pueden servir eficazmente tanto para tareas de comprensión como de generación. Esperamos que este trabajo inspire futuras investigaciones hacia arquitecturas multimodales unificadas. El código está disponible en: https://github.com/YuqingWang1029/CubiD.
English
Visual generation with discrete tokens has gained significant attention as it enables a unified token prediction paradigm shared with language models, promising seamless multimodal architectures. However, current discrete generation methods remain limited to low-dimensional latent tokens (typically 8-32 dims), sacrificing the semantic richness essential for understanding. While high-dimensional pretrained representations (768-1024 dims) could bridge this gap, their discrete generation poses fundamental challenges. In this paper, we present Cubic Discrete Diffusion (CubiD), the first discrete generation model for high-dimensional representations. CubiD performs fine-grained masking throughout the high-dimensional discrete representation -- any dimension at any position can be masked and predicted from partial observations. This enables the model to learn rich correlations both within and across spatial positions, with the number of generation steps fixed at T regardless of feature dimensionality, where T ll hwd. On ImageNet-256, CubiD achieves state-of-the-art discrete generation with strong scaling behavior from 900M to 3.7B parameters. Crucially, we validate that these discretized tokens preserve original representation capabilities, demonstrating that the same discrete tokens can effectively serve both understanding and generation tasks. We hope this work will inspire future research toward unified multimodal architectures. Code is available at: https://github.com/YuqingWang1029/CubiD.