RoCoTex: 拡散モデルを用いた一貫したテクスチャ合成のための堅牢な手法

RoCoTex: A Robust Method for Consistent Texture Synthesis with Diffusion Models

September 30, 2024

著者: Jangyeong Kim, Donggoo Kang, Junyoung Choi, Jeonga Wi, Junho Gwon, Jiun Bae, Dumim Yoon, Junghyun Han

cs.AI

要旨

最近、テキストからテクスチャへの生成が注目されていますが、既存の手法はしばしば視点の不一致、明らかな継ぎ目、およびテクスチャと基礎メッシュとの整合性の問題に苦しんでいます。本論文では、一貫性がありシームレスでメッシュとよく整合するテクスチャを生成するための堅牢なテキストからテクスチャへの手法を提案します。当該手法は、SDXLおよび複数のControlNetsを含む最先端の2D拡散モデルを活用して、生成されたテクスチャに構造的特徴と微細な詳細を捉えます。また、対称的な視点合成戦略と地域的プロンプトを組み合わせた視点の一貫性向上のための手法を採用しています。さらに、新しいテクスチャブレンディングおよびソフトインペインティング技術を導入し、継ぎ目領域を大幅に削減します。幅広い実験により、当該手法が既存の最先端手法を凌駕していることが示されています。

English

Text-to-texture generation has recently attracted increasing attention, but existing methods often suffer from the problems of view inconsistencies, apparent seams, and misalignment between textures and the underlying mesh. In this paper, we propose a robust text-to-texture method for generating consistent and seamless textures that are well aligned with the mesh. Our method leverages state-of-the-art 2D diffusion models, including SDXL and multiple ControlNets, to capture structural features and intricate details in the generated textures. The method also employs a symmetrical view synthesis strategy combined with regional prompts for enhancing view consistency. Additionally, it introduces novel texture blending and soft-inpainting techniques, which significantly reduce the seam regions. Extensive experiments demonstrate that our method outperforms existing state-of-the-art methods.