ComboStoc: 확산 생성 모델을 위한 조합적 확률성

초록

본 논문에서는 확산 생성 모델의 중요하지만 충분히 연구되지 않은 요소, 즉 조합적 복잡성(combinatorial complexity)을 연구합니다. 데이터 샘플은 일반적으로 고차원이며, 다양한 구조적 생성 작업을 위해 데이터 샘플과 연결되는 추가 속성(attribute)들이 결합됩니다. 우리는 차원(dimension)과 속성의 조합으로 이루어진 공간이 기존 확산 생성 모델의 학습 방식으로는 충분히 커버되지 않아 테스트 시 성능을 제한할 수 있음을 보여줍니다. 우리는 이 문제에 대한 간단한 해결책을 제시하는데, 바로 조합 구조를 완전히 활용하는 확률적 과정(stochastic processes)을 구축하는 것입니다. 따라서 이를 'ComboStoc'이라고 명명합니다. 이 간단한 전략을 통해 이미지 및 3D 구조적 형태를 포함한 다양한 데이터 모달리티에서 네트워크 학습이 크게 가속화됨을 보여줍니다. 더 나아가, ComboStoc은 서로 다른 차원과 속성에 대해 비동기적인 시간 스텝(asynchronous time steps)을 사용하는 새로운 테스트 시 생성 방식을 가능하게 하여, 각각에 대해 다양한 수준의 제어를 허용합니다. 우리의 코드는 다음에서 확인할 수 있습니다: https://github.com/Xrvitd/ComboStoc

English

In this paper, we study an under-explored but important factor of diffusion generative models, i.e., the combinatorial complexity. Data samples are generally high-dimensional, and for various structured generation tasks, additional attributes are combined to associate with data samples. We show that the space spanned by the combination of dimensions and attributes can be insufficiently covered by existing training schemes of diffusion generative models, potentially limiting test time performance. We present a simple fix to this problem by constructing stochastic processes that fully exploit the combinatorial structures, hence the name ComboStoc. Using this simple strategy, we show that network training is significantly accelerated across diverse data modalities, including images and 3D structured shapes. Moreover, ComboStoc enables a new way of test time generation which uses asynchronous time steps for different dimensions and attributes, thus allowing for varying degrees of control over them. Our code is available at: https://github.com/Xrvitd/ComboStoc

ComboStoc: 확산 생성 모델을 위한 조합적 확률성

ComboStoc: Combinatorial Stochasticity for Diffusion Generative Models

초록

Support