Diskrete Markov-Brücke

papers.abstract

Diskrete Diffusion hat sich kürzlich als vielversprechendes Paradigma in der Modellierung diskreter Daten herausgestellt. Bisherige Methoden basieren jedoch typischerweise auf einer festen Übergangsmatrix während des Trainings, was nicht nur die Ausdrucksfähigkeit latenter Repräsentationen, eine grundlegende Stärke von Variationsmethoden, einschränkt, sondern auch den gesamten Designraum begrenzt. Um diese Einschränkungen zu überwinden, schlagen wir Discrete Markov Bridge vor, ein neuartiges Framework, das speziell für das Lernen diskreter Repräsentationen entwickelt wurde. Unser Ansatz basiert auf zwei Schlüsselkomponenten: Matrix Learning und Score Learning. Wir führen eine rigorose theoretische Analyse durch, in der wir formale Leistungsgarantien für Matrix Learning etablieren und die Konvergenz des gesamten Frameworks beweisen. Darüber hinaus analysieren wir die Raumkomplexität unserer Methode und gehen dabei auf praktische Einschränkungen ein, die in früheren Studien identifiziert wurden. Umfangreiche empirische Auswertungen bestätigen die Wirksamkeit des vorgeschlagenen Discrete Markov Bridge, das auf dem Text8-Datensatz eine Evidence Lower Bound (ELBO) von 1,38 erreicht und damit etablierte Baselines übertrifft. Darüber hinaus zeigt das vorgeschlagene Modell eine wettbewerbsfähige Leistung auf dem CIFAR-10-Datensatz, die mit den Ergebnissen von bildspezifischen Generierungsansätzen vergleichbar ist.

English

Discrete diffusion has recently emerged as a promising paradigm in discrete data modeling. However, existing methods typically rely on a fixed rate transition matrix during training, which not only limits the expressiveness of latent representations, a fundamental strength of variational methods, but also constrains the overall design space. To address these limitations, we propose Discrete Markov Bridge, a novel framework specifically designed for discrete representation learning. Our approach is built upon two key components: Matrix Learning and Score Learning. We conduct a rigorous theoretical analysis, establishing formal performance guarantees for Matrix Learning and proving the convergence of the overall framework. Furthermore, we analyze the space complexity of our method, addressing practical constraints identified in prior studies. Extensive empirical evaluations validate the effectiveness of the proposed Discrete Markov Bridge, which achieves an Evidence Lower Bound (ELBO) of 1.38 on the Text8 dataset, outperforming established baselines. Moreover, the proposed model demonstrates competitive performance on the CIFAR-10 dataset, achieving results comparable to those obtained by image-specific generation approaches.