Hunyuan3D 2.0: ハイレゾリューションのテクスチャ付き3Dアセット生成のための拡張拡散モデル

Hunyuan3D 2.0: Scaling Diffusion Models for High Resolution Textured 3D Assets Generation

January 21, 2025

著者: Zibo Zhao, Zeqiang Lai, Qingxiang Lin, Yunfei Zhao, Haolin Liu, Shuhui Yang, Yifei Feng, Mingxin Yang, Sheng Zhang, Xianghui Yang, Huiwen Shi, Sicong Liu, Junta Wu, Yihang Lian, Fan Yang, Ruining Tang, Zebin He, Xinzhou Wang, Jian Liu, Xuhui Zuo, Zhuo Chen, Biwen Lei, Haohan Weng, Jing Xu, Yiling Zhu, Xinhai Liu, Lixin Xu, Changrong Hu, Tianyu Huang, Lifu Wang, Jihong Zhang, Meng Chen, Liang Dong, Yiwen Jia, Yulin Cai, Jiaao Yu, Yixuan Tang, Hao Zhang, Zheng Ye, Peng He, Runzhou Wu, Chao Zhang, Yonghao Tan, Jie Xiao, Yangyu Tao, Jianchen Zhu, Jinbao Xue, Kai Liu, Chongqing Zhao, Xinming Wu, Zhichao Hu, Lei Qin, Jianbing Peng, Zhan Li, Minghui Chen, Xipeng Zhang, Lin Niu, Paige Wang, Yingkai Wang, Haozhao Kuang, Zhongyi Fan, Xu Zheng, Weihao Zhuang, YingPing He, Tian Liu, Yong Yang, Di Wang, Yuhong Liu, Jie Jiang, Jingwei Huang, Chunchao Guo

cs.AI

要旨

Hunyuan3D 2.0は、高解像度のテクスチャ付き3Dアセットを生成するための先進的な大規模3D合成システムです。このシステムには、大規模な形状生成モデルであるHunyuan3D-DiTと、大規模なテクスチャ合成モデルであるHunyuan3D-Paintの2つの基本コンポーネントが含まれています。スケーラブルなフローベースの拡散トランスフォーマーに基づく形状生成モデルは、与えられた条件画像と適切に整合するジオメトリを作成し、下流のアプリケーションのための堅固な基盤を築きます。強力な幾何学的および拡散事前確率に恩恵を受けるテクスチャ合成モデルは、生成されたメッシュまたは手作りのメッシュ用に高解像度で鮮やかなテクスチャマップを生成します。さらに、Hunyuan3D-Studioを構築しました。これは汎用性が高く、ユーザーフレンドリーな制作プラットフォームであり、3Dアセットの再作成プロセスを簡素化します。これにより、プロフェッショナルおよびアマチュアのユーザーが効率的にメッシュを操作したり、アニメーション化したりできます。我々はモデルを体系的に評価し、Hunyuan3D 2.0が従来の最先端モデル、オープンソースモデル、およびクローズドソースモデルを凌駕していることを示しています。ジオメトリの詳細、条件の整合性、テクスチャの品質などにおいて、Hunyuan3D 2.0は優れています。Hunyuan3D 2.0は、大規模な基盤生成モデルのオープンソースコミュニティにおける空白を埋めるために公開されています。当該モデルのコードと事前学習済みの重みは以下から入手可能です：https://github.com/Tencent/Hunyuan3D-2

English

We present Hunyuan3D 2.0, an advanced large-scale 3D synthesis system for generating high-resolution textured 3D assets. This system includes two foundation components: a large-scale shape generation model -- Hunyuan3D-DiT, and a large-scale texture synthesis model -- Hunyuan3D-Paint. The shape generative model, built on a scalable flow-based diffusion transformer, aims to create geometry that properly aligns with a given condition image, laying a solid foundation for downstream applications. The texture synthesis model, benefiting from strong geometric and diffusion priors, produces high-resolution and vibrant texture maps for either generated or hand-crafted meshes. Furthermore, we build Hunyuan3D-Studio -- a versatile, user-friendly production platform that simplifies the re-creation process of 3D assets. It allows both professional and amateur users to manipulate or even animate their meshes efficiently. We systematically evaluate our models, showing that Hunyuan3D 2.0 outperforms previous state-of-the-art models, including the open-source models and closed-source models in geometry details, condition alignment, texture quality, and etc. Hunyuan3D 2.0 is publicly released in order to fill the gaps in the open-source 3D community for large-scale foundation generative models. The code and pre-trained weights of our models are available at: https://github.com/Tencent/Hunyuan3D-2