Generación conjunta de texturas PBR consistentes en múltiples vistas utilizando Control Colaborativo
Jointly Generating Multi-view Consistent PBR Textures using Collaborative Control
October 9, 2024
Autores: Shimon Vainer, Konstantin Kutsy, Dante De Nigris, Ciara Rowles, Slava Elizarov, Simon Donné
cs.AI
Resumen
La consistencia multi-vista sigue siendo un desafío para los modelos de difusión de imágenes. Incluso dentro del problema Texto-a-Textura, donde las correspondencias geométricas perfectas son conocidas de antemano, muchos métodos no logran producir predicciones alineadas entre vistas, lo que hace necesario emplear métodos de fusión no triviales para incorporar los resultados en la malla original. Exploramos este problema para un flujo de trabajo de Control Colaborativo específicamente en Texto-a-Textura PBR. El Control Colaborativo modela directamente las distribuciones de probabilidad de imágenes PBR, incluyendo mapas de relieve normales; hasta donde sabemos, es el único modelo de difusión que produce directamente pilas completas de PBR. Discutimos las decisiones de diseño involucradas en hacer que este modelo sea consistente multi-vista y demostramos la efectividad de nuestro enfoque en estudios de ablación, así como en aplicaciones prácticas.
English
Multi-view consistency remains a challenge for image diffusion models. Even
within the Text-to-Texture problem, where perfect geometric correspondences are
known a priori, many methods fail to yield aligned predictions across views,
necessitating non-trivial fusion methods to incorporate the results onto the
original mesh. We explore this issue for a Collaborative Control workflow
specifically in PBR Text-to-Texture. Collaborative Control directly models PBR
image probability distributions, including normal bump maps; to our knowledge,
the only diffusion model to directly output full PBR stacks. We discuss the
design decisions involved in making this model multi-view consistent, and
demonstrate the effectiveness of our approach in ablation studies, as well as
practical applications.