Gemeinsame Generierung von mehrblickkonsistenten PBR-Texturen unter Verwendung von kollaborativer Steuerung

Jointly Generating Multi-view Consistent PBR Textures using Collaborative Control

October 9, 2024

Autoren: Shimon Vainer, Konstantin Kutsy, Dante De Nigris, Ciara Rowles, Slava Elizarov, Simon Donné

cs.AI

Zusammenfassung

Die Konsistenz zwischen verschiedenen Ansichten bleibt eine Herausforderung für Bildverbreitungsmodelle. Selbst im Text-zu-Textur-Problem, bei dem perfekte geometrische Entsprechungen a priori bekannt sind, scheitern viele Methoden daran, ausgerichtete Vorhersagen über verschiedene Ansichten zu liefern, was nicht-triviale Fusionstechniken erfordert, um die Ergebnisse auf das ursprüngliche Netz zu übertragen. Wir untersuchen dieses Problem für einen kollaborativen Steuerungsworkflow speziell im PBR Text-zu-Textur-Bereich. Die kollaborative Steuerung modelliert direkt PBR-Bildwahrscheinlichkeitsverteilungen, einschließlich normaler Bump-Maps; nach unserem Kenntnisstand ist dies das einzige Verbreitungsmodell, das direkt vollständige PBR-Stapel ausgibt. Wir diskutieren die Designentscheidungen, die bei der Herstellung dieses Modells konsistent zwischen verschiedenen Ansichten getroffen wurden, und zeigen die Wirksamkeit unseres Ansatzes in Ablationsstudien sowie in praktischen Anwendungen.

English

Multi-view consistency remains a challenge for image diffusion models. Even within the Text-to-Texture problem, where perfect geometric correspondences are known a priori, many methods fail to yield aligned predictions across views, necessitating non-trivial fusion methods to incorporate the results onto the original mesh. We explore this issue for a Collaborative Control workflow specifically in PBR Text-to-Texture. Collaborative Control directly models PBR image probability distributions, including normal bump maps; to our knowledge, the only diffusion model to directly output full PBR stacks. We discuss the design decisions involved in making this model multi-view consistent, and demonstrate the effectiveness of our approach in ablation studies, as well as practical applications.