Ponte de Markov Discreto

Resumo

A difusão discreta emergiu recentemente como um paradigma promissor na modelagem de dados discretos. No entanto, os métodos existentes geralmente dependem de uma matriz de transição de taxa fixa durante o treinamento, o que não apenas limita a expressividade das representações latentes, uma força fundamental dos métodos variacionais, mas também restringe o espaço de design geral. Para abordar essas limitações, propomos o Discrete Markov Bridge, uma nova estrutura especificamente projetada para o aprendizado de representações discretas. Nossa abordagem é construída sobre dois componentes principais: Aprendizado de Matriz e Aprendizado de Pontuação. Realizamos uma análise teórica rigorosa, estabelecendo garantias formais de desempenho para o Aprendizado de Matriz e provando a convergência da estrutura geral. Além disso, analisamos a complexidade espacial do nosso método, abordando restrições práticas identificadas em estudos anteriores. Avaliações empíricas extensas validam a eficácia do Discrete Markov Bridge proposto, que alcança um Limite Inferior de Evidência (ELBO) de 1,38 no conjunto de dados Text8, superando as linhas de base estabelecidas. Além disso, o modelo proposto demonstra desempenho competitivo no conjunto de dados CIFAR-10, alcançando resultados comparáveis aos obtidos por abordagens específicas para geração de imagens.

English

Discrete diffusion has recently emerged as a promising paradigm in discrete data modeling. However, existing methods typically rely on a fixed rate transition matrix during training, which not only limits the expressiveness of latent representations, a fundamental strength of variational methods, but also constrains the overall design space. To address these limitations, we propose Discrete Markov Bridge, a novel framework specifically designed for discrete representation learning. Our approach is built upon two key components: Matrix Learning and Score Learning. We conduct a rigorous theoretical analysis, establishing formal performance guarantees for Matrix Learning and proving the convergence of the overall framework. Furthermore, we analyze the space complexity of our method, addressing practical constraints identified in prior studies. Extensive empirical evaluations validate the effectiveness of the proposed Discrete Markov Bridge, which achieves an Evidence Lower Bound (ELBO) of 1.38 on the Text8 dataset, outperforming established baselines. Moreover, the proposed model demonstrates competitive performance on the CIFAR-10 dataset, achieving results comparable to those obtained by image-specific generation approaches.