POLARIS: 확산 모델의 강건하고 적응적 역산을 위한 투영-직교 최소제곱법

초록

확산 모델에 기반한 인버전-노이즈 제거(Inversion-Denoising) 패러다임은 다양한 이미지 편집 및 복원 작업에서 탁월한 성능을 보인다. 본 연구는 해당 메커니즘을 재고하며 재구성 성능 저하의 중요한 간과 요인인 근사 노이즈 오차를 규명한다. 이 오차는 t 단계의 노이즈를 t-1 단계의 예측값으로 근사함에 따라 발생하며, 인버전 과정 전반에 걸쳐 심각한 오차 누적을 초래한다. 우리는 강건하고 적응적인 인버전을 위한 투영-직교 최소제곱법(POLARIS)을 제안하며, 이를 통해 인버전 문제를 오차 보정 문제에서 오차 원인 규명 문제로 재정립한다. 임베딩이나 잠재 코드를 최적화하여 누적된 오차를 상쇄하는 기존 방식과 달리, POLARIS는 guidance scale ω를 단계별 변수로 간주하고 각 단계에서 인버전 오차를 최소화하기 위한 수학적으로 타당한 공식을 도출한다. 주목할 점은 POLARIS가 단 한 줄의 코드 수정만으로도 인버전 잠재 공간의 품질을 향상시킨다는 것이다. 미미한 성능 오버헤드만으로도 노이즈 근사 오차를 상당히 완화하며 다운스트림 작업의 정확도를 지속적으로 개선한다.

English

The Inversion-Denoising Paradigm, which is based on diffusion models, excels in diverse image editing and restoration tasks. We revisit its mechanism and reveal a critical, overlooked factor in reconstruction degradation: the approximate noise error. This error stems from approximating the noise at step t with the prediction at step t-1, resulting in severe error accumulation throughout the inversion process. We introduce Projection-Orthogonal Least Squares for Robust and Adaptive Inversion (POLARIS), which reformulates inversion from an error-compensation problem into an error-origin problem. Rather than optimizing embeddings or latent codes to offset accumulated drift, POLARIS treats the guidance scale ω as a step-wise variable and derives a mathematically grounded formula to minimize inversion error at each step. Remarkably, POLARIS improves inversion latent quality with just one line of code. With negligible performance overhead, it substantially mitigates noise approximation errors and consistently improves the accuracy of downstream tasks.

POLARIS: 확산 모델의 강건하고 적응적 역산을 위한 투영-직교 최소제곱법

POLARIS: Projection-Orthogonal Least Squares for Robust and Adaptive Inversion in Diffusion Models

초록

Support