Gerando em conjunto texturas PBR multi-visão consistentes usando Controle Colaborativo

Jointly Generating Multi-view Consistent PBR Textures using Collaborative Control

October 9, 2024

Autores: Shimon Vainer, Konstantin Kutsy, Dante De Nigris, Ciara Rowles, Slava Elizarov, Simon Donné

cs.AI

Resumo

A consistência multi-visão continua sendo um desafio para os modelos de difusão de imagens. Mesmo no problema Texto-para-Textura, onde correspondências geométricas perfeitas são conhecidas a priori, muitos métodos falham em produzir previsões alinhadas entre as visões, exigindo métodos de fusão não triviais para incorporar os resultados na malha original. Exploramos essa questão para um fluxo de trabalho de Controle Colaborativo especificamente em Texto-para-Textura PBR. O Controle Colaborativo modela diretamente as distribuições de probabilidade de imagens PBR, incluindo mapas de relevo normais; até onde sabemos, é o único modelo de difusão que produz diretamente pilhas completas de PBR. Discutimos as decisões de design envolvidas para tornar este modelo consistente multi-visão e demonstramos a eficácia de nossa abordagem em estudos de ablação, bem como em aplicações práticas.

English

Multi-view consistency remains a challenge for image diffusion models. Even within the Text-to-Texture problem, where perfect geometric correspondences are known a priori, many methods fail to yield aligned predictions across views, necessitating non-trivial fusion methods to incorporate the results onto the original mesh. We explore this issue for a Collaborative Control workflow specifically in PBR Text-to-Texture. Collaborative Control directly models PBR image probability distributions, including normal bump maps; to our knowledge, the only diffusion model to directly output full PBR stacks. We discuss the design decisions involved in making this model multi-view consistent, and demonstrate the effectiveness of our approach in ablation studies, as well as practical applications.