교정 확산: 교정된 흐름에서 직선은 당신의 필요가 아니다.

Rectified Diffusion: Straightness Is Not Your Need in Rectified Flow

October 9, 2024

저자: Fu-Yun Wang, Ling Yang, Zhaoyang Huang, Mengdi Wang, Hongsheng Li

cs.AI

초록

확산 모델은 시각적 생성을 크게 향상시켰지만, 생성 가능한 ODE를 해결하는 데 필요한 계산이 많아 속도가 느린 것이 제약 요인이다. 널리 인정받는 해결책인 Rectified Flow는 ODE 경로를 펴서 생성 속도를 향상시킨다. 이의 주요 구성 요소는 다음과 같다: 1) 흐름 일치의 확산 형태 사용, 2) boldsymbol v-예측 적용, 그리고 3) 교정(재흐름). 본 논문에서는 교정의 성공이 주로 사전 훈련된 확산 모델을 사용하여 잡음과 샘플의 일치하는 쌍을 얻은 후 이러한 일치하는 잡음-샘플 쌍으로 재훈련하는 데 있음을 주장한다. 이를 바탕으로 1)과 2) 구성 요소는 불필요하다고 주장한다. 게다가, 교정의 핵심 훈련 목표는 직선이 아니라 특정한 경우인 흐름 일치 모델에 해당하는 것이 아니라, DDPM 및 Sub-VP와 같은 모델의 경우 곡선인 일차 근사 ODE 경로를 달성하는 것이 더 중요하다는 점을 강조한다. 이 통찰을 기반으로 Rectified Diffusion을 제안하며, 이는 교정의 설계 공간과 응용 범위를 흐름 일치 모델로 제한되는 것이 아닌 확산 모델의 보다 넓은 범주로 확장한다. 우리는 Stable Diffusion v1-5 및 Stable Diffusion XL에서 우리의 방법을 검증한다. 우리의 방법은 Rectified Flow 기반 이전 작업(예: InstaFlow)의 훈련 절차를 크게 간소화할 뿐만 아니라 더 낮은 훈련 비용으로 우수한 성능을 달성한다. 우리의 코드는 https://github.com/G-U-N/Rectified-Diffusion에서 사용할 수 있다.

English

Diffusion models have greatly improved visual generation but are hindered by slow generation speed due to the computationally intensive nature of solving generative ODEs. Rectified flow, a widely recognized solution, improves generation speed by straightening the ODE path. Its key components include: 1) using the diffusion form of flow-matching, 2) employing boldsymbol v-prediction, and 3) performing rectification (a.k.a. reflow). In this paper, we argue that the success of rectification primarily lies in using a pretrained diffusion model to obtain matched pairs of noise and samples, followed by retraining with these matched noise-sample pairs. Based on this, components 1) and 2) are unnecessary. Furthermore, we highlight that straightness is not an essential training target for rectification; rather, it is a specific case of flow-matching models. The more critical training target is to achieve a first-order approximate ODE path, which is inherently curved for models like DDPM and Sub-VP. Building on this insight, we propose Rectified Diffusion, which generalizes the design space and application scope of rectification to encompass the broader category of diffusion models, rather than being restricted to flow-matching models. We validate our method on Stable Diffusion v1-5 and Stable Diffusion XL. Our method not only greatly simplifies the training procedure of rectified flow-based previous works (e.g., InstaFlow) but also achieves superior performance with even lower training cost. Our code is available at https://github.com/G-U-N/Rectified-Diffusion.