확산 손실을 활용한 자기회귀 이미지 생성의 조건 오류 정제

초록

최근 연구에서는 자기회귀 모델을 이미지 생성에 적용한 결과가 유망하게 나타났으며, 확산 모델과 자기회귀 프레임워크를 결합하여 확산 손실을 통해 이미지 생성을 최적화하는 방법이 탐구되었습니다. 본 연구에서는 확산 손실을 적용한 확산 모델과 자기회귀 모델에 대한 이론적 분석을 제시하며, 후자의 장점을 부각합니다. 조건부 확산과 확산 손실을 활용한 자기회귀적 확산 모델을 이론적으로 비교함으로써, 자기회귀 모델에서의 패치 잡음 제거 최적화가 조건 오류를 효과적으로 완화하고 안정적인 조건 분포를 도출함을 입증합니다. 또한 우리의 분석은 자기회귀적 조건 생성이 조건을 정제함에 따라 조건 오류의 영향이 기하급수적으로 감소함을 보여줍니다. 더불어 '조건 불일치' 문제를 해결하기 위해 최적 수송 이론에 기반한 새로운 조건 정제 접근법을 소개합니다. 조건 정제를 바써르슈타인 기울기 흐름으로 공식화하면 이상적인 조건 분포로의 수렴이 보장되어 조건 불일치를 효과적으로 완화할 수 있음을 이론적으로 입증합니다. 실험 결과, 우리의 방법이 확산 손실을 활용한 기존 확산 및 자기회귀 모델보다 우수한 성능을 보임을 확인하였습니다.

English

Recent studies have explored autoregressive models for image generation, with promising results, and have combined diffusion models with autoregressive frameworks to optimize image generation via diffusion losses. In this study, we present a theoretical analysis of diffusion and autoregressive models with diffusion loss, highlighting the latter's advantages. We present a theoretical comparison of conditional diffusion and autoregressive diffusion with diffusion loss, demonstrating that patch denoising optimization in autoregressive models effectively mitigates condition errors and leads to a stable condition distribution. Our analysis also reveals that autoregressive condition generation refines the condition, causing the condition error influence to decay exponentially. In addition, we introduce a novel condition refinement approach based on Optimal Transport (OT) theory to address ``condition inconsistency''. We theoretically demonstrate that formulating condition refinement as a Wasserstein Gradient Flow ensures convergence toward the ideal condition distribution, effectively mitigating condition inconsistency. Experiments demonstrate the superiority of our method over diffusion and autoregressive models with diffusion loss methods.

확산 손실을 활용한 자기회귀 이미지 생성의 조건 오류 정제

Condition Errors Refinement in Autoregressive Image Generation with Diffusion Loss

초록

Support