ViewFusion: 보간된 노이즈 제거를 통한 다중 뷰 일관성 달성

초록

확산 모델을 통한 새로운 시점 합성은 다양하고 고품질의 이미지를 생성하는 데 있어 놀라운 잠재력을 입증했습니다. 그러나 이러한 기존 방법들에서 이미지 생성이 독립적으로 이루어지기 때문에 다중 시점 일관성을 유지하는 데 어려움이 있습니다. 이를 해결하기 위해, 우리는 기존에 사전 학습된 확산 모델에 원활하게 통합될 수 있는 새로운 훈련 불필요 알고리즘인 ViewFusion을 소개합니다. 우리의 접근 방식은 이전에 생성된 시점들을 다음 시점 생성을 위한 맥락으로 암묵적으로 활용하는 자기회귀 방식을 채택하여, 새로운 시점 생성 과정에서 견고한 다중 시점 일관성을 보장합니다. 보간된 노이즈 제거를 통해 알려진 시점 정보를 융합하는 확산 과정을 통해, 우리의 프레임워크는 추가적인 미세 조정 없이도 단일 시점 조건 모델을 다중 시점 조건 설정에서 작동하도록 성공적으로 확장합니다. 광범위한 실험 결과는 ViewFusion이 일관적이고 세부적인 새로운 시점을 생성하는 데 있어 효과적임을 입증합니다.

English

Novel-view synthesis through diffusion models has demonstrated remarkable potential for generating diverse and high-quality images. Yet, the independent process of image generation in these prevailing methods leads to challenges in maintaining multiple-view consistency. To address this, we introduce ViewFusion, a novel, training-free algorithm that can be seamlessly integrated into existing pre-trained diffusion models. Our approach adopts an auto-regressive method that implicitly leverages previously generated views as context for the next view generation, ensuring robust multi-view consistency during the novel-view generation process. Through a diffusion process that fuses known-view information via interpolated denoising, our framework successfully extends single-view conditioned models to work in multiple-view conditional settings without any additional fine-tuning. Extensive experimental results demonstrate the effectiveness of ViewFusion in generating consistent and detailed novel views.

ViewFusion: 보간된 노이즈 제거를 통한 다중 뷰 일관성 달성

ViewFusion: Towards Multi-View Consistency via Interpolated Denoising

초록

Support