Ponte di Markov Discreto

Abstract

La diffusione discreta è emersa recentemente come un paradigma promettente nella modellazione di dati discreti. Tuttavia, i metodi esistenti si basano tipicamente su una matrice di transizione a tasso fisso durante l'addestramento, il che non solo limita l'espressività delle rappresentazioni latenti, un punto di forza fondamentale dei metodi variazionali, ma restringe anche lo spazio complessivo di progettazione. Per affrontare queste limitazioni, proponiamo Discrete Markov Bridge, un nuovo framework specificamente progettato per l'apprendimento di rappresentazioni discrete. Il nostro approccio si basa su due componenti chiave: Matrix Learning e Score Learning. Condurremo un'analisi teorica rigorosa, stabilendo garanzie formali di prestazione per Matrix Learning e dimostrando la convergenza del framework complessivo. Inoltre, analizzeremo la complessità spaziale del nostro metodo, affrontando i vincoli pratici identificati in studi precedenti. Valutazioni empiriche estensive convalidano l'efficacia del Discrete Markov Bridge proposto, che raggiunge un Evidence Lower Bound (ELBO) di 1.38 sul dataset Text8, superando i baseline consolidati. Inoltre, il modello proposto dimostra prestazioni competitive sul dataset CIFAR-10, ottenendo risultati paragonabili a quelli raggiunti da approcci specifici per la generazione di immagini.

English

Discrete diffusion has recently emerged as a promising paradigm in discrete data modeling. However, existing methods typically rely on a fixed rate transition matrix during training, which not only limits the expressiveness of latent representations, a fundamental strength of variational methods, but also constrains the overall design space. To address these limitations, we propose Discrete Markov Bridge, a novel framework specifically designed for discrete representation learning. Our approach is built upon two key components: Matrix Learning and Score Learning. We conduct a rigorous theoretical analysis, establishing formal performance guarantees for Matrix Learning and proving the convergence of the overall framework. Furthermore, we analyze the space complexity of our method, addressing practical constraints identified in prior studies. Extensive empirical evaluations validate the effectiveness of the proposed Discrete Markov Bridge, which achieves an Evidence Lower Bound (ELBO) of 1.38 on the Text8 dataset, outperforming established baselines. Moreover, the proposed model demonstrates competitive performance on the CIFAR-10 dataset, achieving results comparable to those obtained by image-specific generation approaches.