협력적 제어를 활용하여 다중 뷰 일관성 있는 PBR 텍스처를 공동으로 생성하기

Jointly Generating Multi-view Consistent PBR Textures using Collaborative Control

October 9, 2024

저자: Shimon Vainer, Konstantin Kutsy, Dante De Nigris, Ciara Rowles, Slava Elizarov, Simon Donné

cs.AI

초록

이미지 확산 모델에서 다중 뷰 일관성은 여전히 도전적인 과제입니다. 완벽한 기하학적 대응이 사전에 알려진 텍스트 대 텍스처 문제 내에서도 많은 방법이 뷰 간 정렬된 예측을 제공하지 못하며, 결과를 원본 메시에 통합하기 위한 비자명한 융합 방법이 필요합니다. 우리는 PBR 텍스트 대 텍스처에서 특히 협력 제어 워크플로우에 대해 이 문제를 탐구합니다. 협력 제어는 PBR 이미지 확률 분포를 직접 모델링하며, 노멀 범프 맵을 포함합니다. 우리의 지식으로는 유일하게 전체 PBR 스택을 직접 출력하는 확산 모델입니다. 이 모델을 다중 뷰 일관성을 갖도록 만드는 설계 결정에 대해 논의하고, 절단 연구 및 실용적 응용에서 우리 방법의 효과를 입증합니다.

English

Multi-view consistency remains a challenge for image diffusion models. Even within the Text-to-Texture problem, where perfect geometric correspondences are known a priori, many methods fail to yield aligned predictions across views, necessitating non-trivial fusion methods to incorporate the results onto the original mesh. We explore this issue for a Collaborative Control workflow specifically in PBR Text-to-Texture. Collaborative Control directly models PBR image probability distributions, including normal bump maps; to our knowledge, the only diffusion model to directly output full PBR stacks. We discuss the design decisions involved in making this model multi-view consistent, and demonstrate the effectiveness of our approach in ablation studies, as well as practical applications.