InstructMix2Mix: 다중 뷰 모델 개인화를 통한 일관적인 희소 뷰 편집

초록

희소 입력 뷰에서의 다중 뷰 이미지 편집 과제를 다룹니다. 여기서 입력은 서로 다른 시점에서 장면을 포착한 이미지들의 혼합으로 간주될 수 있습니다. 목표는 텍스트 지시에 따라 장면을 수정하면서 모든 뷰 간 일관성을 유지하는 것입니다. 장면별 신경망 장면 표현이나 시간적 어텐션 메커니즘에 기반한 기존 방법들은 이 설정에서 어려움을 겪으며, 종종 아티팩트와 비일관적인 편집 결과를 생성합니다. 우리는 InstructMix2Mix(I-Mix2Mix)를 제안합니다. 이는 2D diffusion 모델의 편집 능리를 사전 학습된 다중 뷰 diffusion 모델에 증류하여, 해당 모델의 데이터 기반 3D 사전 지식을 뷰 간 일관성에 활용하는 프레임워크입니다. 핵심 기여는 Score Distillation Sampling(SDS)의 기존 신경망 통합기를 다중 뷰 diffusion student로 대체한 것으로, 이를 위해 새로운 적응 기법이 필요했습니다: 타임스텝 전반에 걸친 점진적 student 업데이트, 퇴화를 방지하기 위한 전용 teacher 노이즈 스케줄러, 추가 비용 없이 뷰 간 일관성을 향상시키는 어텐션 수정 등입니다. 실험을 통해 I-Mix2Mix가 프레임별 높은 편집 품질을 유지하면서 다중 뷰 일관성을 크게 개선함을 입증합니다.

English

We address the task of multi-view image editing from sparse input views, where the inputs can be seen as a mix of images capturing the scene from different viewpoints. The goal is to modify the scene according to a textual instruction while preserving consistency across all views. Existing methods, based on per-scene neural fields or temporal attention mechanisms, struggle in this setting, often producing artifacts and incoherent edits. We propose InstructMix2Mix (I-Mix2Mix), a framework that distills the editing capabilities of a 2D diffusion model into a pretrained multi-view diffusion model, leveraging its data-driven 3D prior for cross-view consistency. A key contribution is replacing the conventional neural field consolidator in Score Distillation Sampling (SDS) with a multi-view diffusion student, which requires novel adaptations: incremental student updates across timesteps, a specialized teacher noise scheduler to prevent degeneration, and an attention modification that enhances cross-view coherence without additional cost. Experiments demonstrate that I-Mix2Mix significantly improves multi-view consistency while maintaining high per-frame edit quality.

InstructMix2Mix: 다중 뷰 모델 개인화를 통한 일관적인 희소 뷰 편집

InstructMix2Mix: Consistent Sparse-View Editing Through Multi-View Model Personalization

초록

Support