SyncDiffusion: 동기화된 결합 확산을 통한 일관된 몽타주

초록

사전 학습된 이미지 디퓨전 모델의 놀라운 능력은 고정 크기 이미지 생성뿐만 아니라 파노라마 생성에도 활용되어 왔습니다. 그러나 여러 이미지를 단순히 이어 붙이는 방식은 종종 눈에 띄는 이음새를 발생시킵니다. 최근 기술들은 여러 창에서 공동 디퓨전을 수행하고 겹치는 영역에서 잠재 특성을 평균화함으로써 이 문제를 해결하려 시도했습니다. 그러나 이러한 접근 방식은 원활한 몽타주 생성에 초점을 맞추면서도 단일 이미지 내에서 서로 다른 장면을 혼합함으로써 비일관적인 출력을 초래하는 경우가 많습니다. 이러한 한계를 극복하기 위해, 우리는 SyncDiffusion을 제안합니다. 이는 지각적 유사성 손실에 대한 경사 하강법을 통해 여러 디퓨전을 동기화하는 플러그 앤 플레이 모듈입니다. 구체적으로, 우리는 각 디노이징 단계에서 예측된 디노이즈된 이미지를 사용하여 지각적 손실의 그래디언트를 계산함으로써 일관된 몽타주를 달성하기 위한 의미 있는 지침을 제공합니다. 우리의 실험 결과는 우리의 방법이 이전 방법들에 비해 훨씬 더 일관된 출력을 생성한다는 것을 보여줍니다(사용자 연구에서 66.35% 대 33.65%). 동시에 GIQA로 평가된 충실도와 CLIP 점수로 측정된 입력 프롬프트와의 호환성을 유지합니다.

English

The remarkable capabilities of pretrained image diffusion models have been utilized not only for generating fixed-size images but also for creating panoramas. However, naive stitching of multiple images often results in visible seams. Recent techniques have attempted to address this issue by performing joint diffusions in multiple windows and averaging latent features in overlapping regions. However, these approaches, which focus on seamless montage generation, often yield incoherent outputs by blending different scenes within a single image. To overcome this limitation, we propose SyncDiffusion, a plug-and-play module that synchronizes multiple diffusions through gradient descent from a perceptual similarity loss. Specifically, we compute the gradient of the perceptual loss using the predicted denoised images at each denoising step, providing meaningful guidance for achieving coherent montages. Our experimental results demonstrate that our method produces significantly more coherent outputs compared to previous methods (66.35% vs. 33.65% in our user study) while still maintaining fidelity (as assessed by GIQA) and compatibility with the input prompt (as measured by CLIP score).

SyncDiffusion: 동기화된 결합 확산을 통한 일관된 몽타주

SyncDiffusion: Coherent Montage via Synchronized Joint Diffusions

초록

Support