TextureDreamer: Синтез текстур с использованием изображений через геометрически осознанную диффузию

TextureDreamer: Image-guided Texture Synthesis through Geometry-aware Diffusion

January 17, 2024

Авторы: Yu-Ying Yeh, Jia-Bin Huang, Changil Kim, Lei Xiao, Thu Nguyen-Phuoc, Numair Khan, Cheng Zhang, Manmohan Chandraker, Carl S Marshall, Zhao Dong, Zhengqin Li

cs.AI

Аннотация

Мы представляем TextureDreamer — новый метод синтеза текстур на основе изображений, который позволяет переносить переосвещаемые текстуры с небольшого количества входных изображений (от 3 до 5) на целевые 3D-модели произвольных категорий. Создание текстур является ключевой задачей в области компьютерного зрения и графики. Промышленные компании нанимают опытных художников для ручного создания текстур для 3D-активов. Классические методы требуют плотно сэмплированных видов и точно выровненной геометрии, в то время как методы, основанные на обучении, ограничиваются формами, специфичными для категорий в наборе данных. В отличие от них, TextureDreamer может переносить высокодетализированные, сложные текстуры из реальных сред на произвольные объекты, используя всего несколько случайно снятых изображений, что потенциально значительно демократизирует процесс создания текстур. Наша ключевая идея, персонализированная геометрически-осознанная дистилляция оценок (PGSD), вдохновлена последними достижениями в области диффузных моделей, включая персонализированное моделирование для извлечения текстуры, вариационную дистилляцию оценок для синтеза детализированного внешнего вида и явное геометрическое управление с помощью ControlNet. Наша интеграция и несколько важных модификаций существенно улучшают качество текстур. Эксперименты на реальных изображениях, охватывающих различные категории, показывают, что TextureDreamer успешно переносит высокореалистичные, семантически значимые текстуры на произвольные объекты, превосходя визуальное качество предыдущих передовых методов.

English

We present TextureDreamer, a novel image-guided texture synthesis method to transfer relightable textures from a small number of input images (3 to 5) to target 3D shapes across arbitrary categories. Texture creation is a pivotal challenge in vision and graphics. Industrial companies hire experienced artists to manually craft textures for 3D assets. Classical methods require densely sampled views and accurately aligned geometry, while learning-based methods are confined to category-specific shapes within the dataset. In contrast, TextureDreamer can transfer highly detailed, intricate textures from real-world environments to arbitrary objects with only a few casually captured images, potentially significantly democratizing texture creation. Our core idea, personalized geometry-aware score distillation (PGSD), draws inspiration from recent advancements in diffuse models, including personalized modeling for texture information extraction, variational score distillation for detailed appearance synthesis, and explicit geometry guidance with ControlNet. Our integration and several essential modifications substantially improve the texture quality. Experiments on real images spanning different categories show that TextureDreamer can successfully transfer highly realistic, semantic meaningful texture to arbitrary objects, surpassing the visual quality of previous state-of-the-art.