Gezamenlijk genereren van multi-view consistente PBR-texturen met behulp van collaboratieve controle.

Jointly Generating Multi-view Consistent PBR Textures using Collaborative Control

October 9, 2024

Auteurs: Shimon Vainer, Konstantin Kutsy, Dante De Nigris, Ciara Rowles, Slava Elizarov, Simon Donné

cs.AI

Samenvatting

Het behouden van multi-view consistentie blijft een uitdaging voor beeldverspreidingsmodellen. Zelfs binnen het Tekst-naar-Textuur probleem, waar perfecte geometrische overeenkomsten a priori bekend zijn, falen veel methoden om uitgelijnde voorspellingen over verschillende weergaven te produceren, wat niet-triviale fusiemethoden noodzakelijk maakt om de resultaten in het oorspronkelijke mesh op te nemen. We onderzoeken dit probleem voor een Samenwerkende Controle workflow specifiek in PBR Tekst-naar-Textuur. Samenwerkende Controle modelleert rechtstreeks PBR beeldkansverdelingen, inclusief normale reliëfkaarten; naar ons weten het enige diffusiemodel dat rechtstreeks volledige PBR-stapels uitvoert. We bespreken de ontwerpbeslissingen die betrokken zijn bij het maken van dit model multi-view consistent, en tonen de effectiviteit van onze aanpak aan in ablatiestudies, evenals praktische toepassingen.

English

Multi-view consistency remains a challenge for image diffusion models. Even within the Text-to-Texture problem, where perfect geometric correspondences are known a priori, many methods fail to yield aligned predictions across views, necessitating non-trivial fusion methods to incorporate the results onto the original mesh. We explore this issue for a Collaborative Control workflow specifically in PBR Text-to-Texture. Collaborative Control directly models PBR image probability distributions, including normal bump maps; to our knowledge, the only diffusion model to directly output full PBR stacks. We discuss the design decisions involved in making this model multi-view consistent, and demonstrate the effectiveness of our approach in ablation studies, as well as practical applications.