Puente de Markov Discreto

Discrete Markov Bridge

May 26, 2025

Autores: Hengli Li, Yuxuan Wang, Song-Chun Zhu, Ying Nian Wu, Zilong Zheng

cs.AI

Resumen

La difusión discreta ha surgido recientemente como un paradigma prometedor en el modelado de datos discretos. Sin embargo, los métodos existentes suelen depender de una matriz de transición de tasa fija durante el entrenamiento, lo que no solo limita la expresividad de las representaciones latentes, una fortaleza fundamental de los métodos variacionales, sino que también restringe el espacio de diseño general. Para abordar estas limitaciones, proponemos Discrete Markov Bridge, un marco novedoso diseñado específicamente para el aprendizaje de representaciones discretas. Nuestro enfoque se basa en dos componentes clave: Aprendizaje de Matrices y Aprendizaje de Puntuaciones. Realizamos un análisis teórico riguroso, estableciendo garantías formales de rendimiento para el Aprendizaje de Matrices y demostrando la convergencia del marco general. Además, analizamos la complejidad espacial de nuestro método, abordando limitaciones prácticas identificadas en estudios previos. Evaluaciones empíricas exhaustivas validan la efectividad del Discrete Markov Bridge propuesto, que alcanza un Límite Inferior de Evidencia (ELBO) de 1.38 en el conjunto de datos Text8, superando a los métodos de referencia establecidos. Además, el modelo propuesto demuestra un rendimiento competitivo en el conjunto de datos CIFAR-10, logrando resultados comparables a los obtenidos por enfoques específicos para la generación de imágenes.

English

Discrete diffusion has recently emerged as a promising paradigm in discrete data modeling. However, existing methods typically rely on a fixed rate transition matrix during training, which not only limits the expressiveness of latent representations, a fundamental strength of variational methods, but also constrains the overall design space. To address these limitations, we propose Discrete Markov Bridge, a novel framework specifically designed for discrete representation learning. Our approach is built upon two key components: Matrix Learning and Score Learning. We conduct a rigorous theoretical analysis, establishing formal performance guarantees for Matrix Learning and proving the convergence of the overall framework. Furthermore, we analyze the space complexity of our method, addressing practical constraints identified in prior studies. Extensive empirical evaluations validate the effectiveness of the proposed Discrete Markov Bridge, which achieves an Evidence Lower Bound (ELBO) of 1.38 on the Text8 dataset, outperforming established baselines. Moreover, the proposed model demonstrates competitive performance on the CIFAR-10 dataset, achieving results comparable to those obtained by image-specific generation approaches.