ComboStoc: Estocasticidade Combinatória para Modelos Generativos de Difusão

Resumo

Neste artigo, estudamos um fator pouco explorado mas importante dos modelos generativos de difusão: a complexidade combinatória. As amostras de dados são geralmente de alta dimensão e, para várias tarefas de geração estruturada, atributos adicionais são combinados para se associarem às amostras de dados. Demonstramos que o espaço abrangido pela combinação de dimensões e atributos pode ser insuficientemente coberto pelos esquemas de treinamento existentes para modelos generativos de difusão, limitando potencialmente o desempenho durante o teste. Apresentamos uma solução simples para este problema através da construção de processos estocásticos que exploram totalmente as estruturas combinatórias, daí o nome ComboStoc. Utilizando esta estratégia simples, mostramos que o treinamento da rede é significativamente acelerado em diversas modalidades de dados, incluindo imagens e formas estruturadas 3D. Além disso, o ComboStoc possibilita uma nova forma de geração durante o teste que utiliza passos de tempo assíncronos para diferentes dimensões e atributos, permitindo assim diferentes graus de controle sobre os mesmos. O nosso código está disponível em: https://github.com/Xrvitd/ComboStoc

English

In this paper, we study an under-explored but important factor of diffusion generative models, i.e., the combinatorial complexity. Data samples are generally high-dimensional, and for various structured generation tasks, additional attributes are combined to associate with data samples. We show that the space spanned by the combination of dimensions and attributes can be insufficiently covered by existing training schemes of diffusion generative models, potentially limiting test time performance. We present a simple fix to this problem by constructing stochastic processes that fully exploit the combinatorial structures, hence the name ComboStoc. Using this simple strategy, we show that network training is significantly accelerated across diverse data modalities, including images and 3D structured shapes. Moreover, ComboStoc enables a new way of test time generation which uses asynchronous time steps for different dimensions and attributes, thus allowing for varying degrees of control over them. Our code is available at: https://github.com/Xrvitd/ComboStoc