U를 넘어서: 확산 모델을 더 빠르고 가볍게 만들기

초록

확산 모델(Diffusion Models)은 이미지 합성, 비디오 생성, 분자 설계와 같은 작업에서 기록적인 성능을 보이는 생성 모델군입니다. 그러나 이러한 능력에도 불구하고, 특히 역방향 노이즈 제거 과정에서의 효율성은 느린 수렴 속도와 높은 계산 비용으로 인해 여전히 과제로 남아 있습니다. 본 연구에서는 연속 동역학 시스템을 활용하여 더 적은 매개변수를 사용하면서도 빠른 수렴 속도와 향상된 노이즈 강인성을 보이는 새로운 노이즈 제거 네트워크를 설계하는 접근법을 제안합니다. 노이즈 제거 확률적 확산 모델(Denoising Probabilistic Diffusion Models)을 실험한 결과, 우리의 프레임워크는 Denoising Diffusion Probabilistic Models(DDPMs)에서 사용되는 표준 U-Net 대비 약 1/4 수준의 매개변수와 30% 수준의 부동소수점 연산(FLOPs)으로 동작합니다. 또한, 동일한 조건에서 측정 시 우리 모델은 기준 모델 대비 최대 70% 더 빠른 추론 속도를 보이면서도 더 높은 품질의 해에 수렴합니다.

English

Diffusion models are a family of generative models that yield record-breaking performance in tasks such as image synthesis, video generation, and molecule design. Despite their capabilities, their efficiency, especially in the reverse denoising process, remains a challenge due to slow convergence rates and high computational costs. In this work, we introduce an approach that leverages continuous dynamical systems to design a novel denoising network for diffusion models that is more parameter-efficient, exhibits faster convergence, and demonstrates increased noise robustness. Experimenting with denoising probabilistic diffusion models, our framework operates with approximately a quarter of the parameters and 30% of the Floating Point Operations (FLOPs) compared to standard U-Nets in Denoising Diffusion Probabilistic Models (DDPMs). Furthermore, our model is up to 70% faster in inference than the baseline models when measured in equal conditions while converging to better quality solutions.

U를 넘어서: 확산 모델을 더 빠르고 가볍게 만들기

Beyond U: Making Diffusion Models Faster & Lighter

초록

Support