TexDreamer: К высококачественной генерации текстур трехмерных человеческих моделей без обучающих данных.

TexDreamer: Towards Zero-Shot High-Fidelity 3D Human Texture Generation

March 19, 2024

Авторы: Yufei Liu, Junwei Zhu, Junshu Tang, Shijie Zhang, Jiangning Zhang, Weijian Cao, Chengjie Wang, Yunsheng Wu, Dongjin Huang

cs.AI

Аннотация

Текстурирование 3D-людей с использованием семантических UV-карт остается вызовом из-за сложности получения развернутых UV-карт. Несмотря на недавние достижения в области текст-в-3D, использующие надзор над многопросмотрными рендерингами с использованием крупных моделей текст-в-изображение (T2I), проблемы сохраняются с быстродействием генерации, согласованностью текста и качеством текстуры, что приводит к дефициту данных среди существующих наборов данных. Мы представляем TexDreamer, первую модель генерации текстуры 3D-человека с высокой степенью достоверности без обучения. Используя эффективную стратегию донастройки текстуры, мы адаптируем крупную модель T2I к семантической структуре UV, сохраняя ее исходную обобщающую способность. С помощью нового модуля перевода признаков обученная модель способна генерировать текстуры 3D-людей высокой степени достоверности из текста или изображения всего за несколько секунд. Более того, мы представляем ArTicuLated humAn textureS (ATLAS), самый крупный набор данных текстур 3D-людей высокого разрешения (1024 X 1024), который содержит 50 тыс. текстур высокой степени достоверности с текстовыми описаниями.

English

Texturing 3D humans with semantic UV maps remains a challenge due to the difficulty of acquiring reasonably unfolded UV. Despite recent text-to-3D advancements in supervising multi-view renderings using large text-to-image (T2I) models, issues persist with generation speed, text consistency, and texture quality, resulting in data scarcity among existing datasets. We present TexDreamer, the first zero-shot multimodal high-fidelity 3D human texture generation model. Utilizing an efficient texture adaptation finetuning strategy, we adapt large T2I model to a semantic UV structure while preserving its original generalization capability. Leveraging a novel feature translator module, the trained model is capable of generating high-fidelity 3D human textures from either text or image within seconds. Furthermore, we introduce ArTicuLated humAn textureS (ATLAS), the largest high-resolution (1024 X 1024) 3D human texture dataset which contains 50k high-fidelity textures with text descriptions.