離散マルコフブリッジ

Discrete Markov Bridge

May 26, 2025

著者: Hengli Li, Yuxuan Wang, Song-Chun Zhu, Ying Nian Wu, Zilong Zheng

cs.AI

要旨

離散拡散は最近、離散データモデリングにおける有望なパラダイムとして登場しました。しかし、既存の手法は通常、トレーニング中に固定レートの遷移行列に依存しており、これは変分法の基本的な強みである潜在表現の表現力を制限するだけでなく、全体的な設計空間も制約しています。これらの制限に対処するため、我々は離散表現学習に特化した新しいフレームワークであるDiscrete Markov Bridgeを提案します。我々のアプローチは、Matrix LearningとScore Learningという2つの主要なコンポーネントに基づいて構築されています。我々は厳密な理論分析を行い、Matrix Learningの形式的な性能保証を確立し、フレームワーク全体の収束を証明しました。さらに、我々の手法の空間複雑性を分析し、先行研究で指摘された実用的な制約に対処します。広範な実証評価により、提案されたDiscrete Markov Bridgeの有効性が検証され、Text8データセットで1.38のEvidence Lower Bound (ELBO)を達成し、確立されたベースラインを上回りました。さらに、提案モデルはCIFAR-10データセットにおいても競争力のある性能を示し、画像固有の生成アプローチと同等の結果を達成しました。

English

Discrete diffusion has recently emerged as a promising paradigm in discrete data modeling. However, existing methods typically rely on a fixed rate transition matrix during training, which not only limits the expressiveness of latent representations, a fundamental strength of variational methods, but also constrains the overall design space. To address these limitations, we propose Discrete Markov Bridge, a novel framework specifically designed for discrete representation learning. Our approach is built upon two key components: Matrix Learning and Score Learning. We conduct a rigorous theoretical analysis, establishing formal performance guarantees for Matrix Learning and proving the convergence of the overall framework. Furthermore, we analyze the space complexity of our method, addressing practical constraints identified in prior studies. Extensive empirical evaluations validate the effectiveness of the proposed Discrete Markov Bridge, which achieves an Evidence Lower Bound (ELBO) of 1.38 on the Text8 dataset, outperforming established baselines. Moreover, the proposed model demonstrates competitive performance on the CIFAR-10 dataset, achieving results comparable to those obtained by image-specific generation approaches.