Дискретный мост Маркова

Discrete Markov Bridge

May 26, 2025

Авторы: Hengli Li, Yuxuan Wang, Song-Chun Zhu, Ying Nian Wu, Zilong Zheng

cs.AI

Аннотация

Дискретная диффузия недавно стала перспективной парадигмой в моделировании дискретных данных. Однако существующие методы обычно полагаются на фиксированную матрицу переходов в процессе обучения, что не только ограничивает выразительность латентных представлений, являющуюся фундаментальным преимуществом вариационных методов, но и сужает общее пространство проектирования. Для устранения этих ограничений мы предлагаем Discrete Markov Bridge — новый фреймворк, специально разработанный для обучения дискретным представлениям. Наш подход основан на двух ключевых компонентах: обучении матриц и обучении оценок. Мы проводим строгий теоретический анализ, устанавливая формальные гарантии производительности для обучения матриц и доказывая сходимость всего фреймворка. Кроме того, мы анализируем пространственную сложность нашего метода, учитывая практические ограничения, выявленные в предыдущих исследованиях. Обширные эмпирические оценки подтверждают эффективность предложенного Discrete Markov Bridge, который достигает нижней границы доказательства (ELBO) 1.38 на наборе данных Text8, превосходя установленные базовые методы. Более того, предложенная модель демонстрирует конкурентоспособные результаты на наборе данных CIFAR-10, достигая показателей, сопоставимых с подходами, специфичными для генерации изображений.

English

Discrete diffusion has recently emerged as a promising paradigm in discrete data modeling. However, existing methods typically rely on a fixed rate transition matrix during training, which not only limits the expressiveness of latent representations, a fundamental strength of variational methods, but also constrains the overall design space. To address these limitations, we propose Discrete Markov Bridge, a novel framework specifically designed for discrete representation learning. Our approach is built upon two key components: Matrix Learning and Score Learning. We conduct a rigorous theoretical analysis, establishing formal performance guarantees for Matrix Learning and proving the convergence of the overall framework. Furthermore, we analyze the space complexity of our method, addressing practical constraints identified in prior studies. Extensive empirical evaluations validate the effectiveness of the proposed Discrete Markov Bridge, which achieves an Evidence Lower Bound (ELBO) of 1.38 on the Text8 dataset, outperforming established baselines. Moreover, the proposed model demonstrates competitive performance on the CIFAR-10 dataset, achieving results comparable to those obtained by image-specific generation approaches.