Кубическая дискретная диффузия: дискретное визуальное генерирование на высокоразмерных репрезентационных токенах

Cubic Discrete Diffusion: Discrete Visual Generation on High-Dimensional Representation Tokens

March 19, 2026

Авторы: Yuqing Wang, Chuofan Ma, Zhijie Lin, Yao Teng, Lijun Yu, Shuai Wang, Jiaming Han, Jiashi Feng, Yi Jiang, Xihui Liu

cs.AI

Аннотация

Визуальное генеративное моделирование с дискретными токенами привлекает значительное внимание, поскольку позволяет использовать единую парадигму предсказания токенов, общую с языковыми моделями, что открывает перспективы создания бесшовных мультимодальных архитектур. Однако современные методы дискретной генерации по-прежнему ограничиваются низкоразмерными латентными токенами (обычно 8-32 измерения), жертвуя смысловой насыщенностью, необходимой для задач понимания. Хотя предобученные высокоразмерные представления (768-1024 измерения) могли бы устранить этот разрыв, их дискретная генерация создает фундаментальные трудности. В данной статье мы представляем Cubic Discrete Diffusion (CubiD) — первую модель дискретной генерации для высокоразмерных представлений. CubiD выполняет детальное маскирование по всему высокоразмерному дискретному представлению — любое измерение в любой позиции может быть замаскировано и предсказано на основе частичных наблюдений. Это позволяет модели изучать богатые корреляции как внутри пространственных позиций, так и между ними, при фиксированном количестве шагов генерации T независимо от размерности признаков, где T ≪ hwd. На ImageNet-256 CubiD достигает передовых результатов в дискретной генерации с выраженным эффектом масштабирования от 900 млн до 3.7 млрд параметров. Ключевым образом мы подтверждаем, что дискретизированные токены сохраняют возможности исходных представлений, демонстрируя, что одни и те же дискретные токены могут эффективно обслуживать как задачи понимания, так и генерации. Мы надеемся, что эта работа стимулирует будущие исследования в направлении унифицированных мультимодальных архитектур. Код доступен по адресу: https://github.com/YuqingWang1029/CubiD.

English

Visual generation with discrete tokens has gained significant attention as it enables a unified token prediction paradigm shared with language models, promising seamless multimodal architectures. However, current discrete generation methods remain limited to low-dimensional latent tokens (typically 8-32 dims), sacrificing the semantic richness essential for understanding. While high-dimensional pretrained representations (768-1024 dims) could bridge this gap, their discrete generation poses fundamental challenges. In this paper, we present Cubic Discrete Diffusion (CubiD), the first discrete generation model for high-dimensional representations. CubiD performs fine-grained masking throughout the high-dimensional discrete representation -- any dimension at any position can be masked and predicted from partial observations. This enables the model to learn rich correlations both within and across spatial positions, with the number of generation steps fixed at T regardless of feature dimensionality, where T ll hwd. On ImageNet-256, CubiD achieves state-of-the-art discrete generation with strong scaling behavior from 900M to 3.7B parameters. Crucially, we validate that these discretized tokens preserve original representation capabilities, demonstrating that the same discrete tokens can effectively serve both understanding and generation tasks. We hope this work will inspire future research toward unified multimodal architectures. Code is available at: https://github.com/YuqingWang1029/CubiD.