HunyuanWorld 1.0: Het genereren van meeslepende, verkennbare en interactieve 3D-werelden vanuit woorden of pixels

HunyuanWorld 1.0: Generating Immersive, Explorable, and Interactive 3D Worlds from Words or Pixels

July 29, 2025

Auteurs: HunyuanWorld Team, Zhenwei Wang, Yuhao Liu, Junta Wu, Zixiao Gu, Haoyuan Wang, Xuhui Zuo, Tianyu Huang, Wenhuan Li, Sheng Zhang, Yihang Lian, Yulin Tsai, Lifu Wang, Sicong Liu, Puhua Jiang, Xianghui Yang, Dongyuan Guo, Yixuan Tang, Xinyue Mao, Jiaao Yu, Junlin Yu, Jihong Zhang, Meng Chen, Liang Dong, Yiwen Jia, Chao Zhang, Yonghao Tan, Hao Zhang, Zheng Ye, Peng He, Runzhou Wu, Minghui Chen, Zhan Li, Wangchen Qin, Lei Wang, Yifu Sun, Lin Niu, Xiang Yuan, Xiaofeng Yang, Yingping He, Jie Xiao, Yangyu Tao, Jianchen Zhu, Jinbao Xue, Kai Liu, Chongqing Zhao, Xinming Wu, Tian Liu, Peng Chen, Di Wang, Yuhong Liu, Linus, Jie Jiang, Tengfei Wang, Chunchao Guo

cs.AI

Samenvatting

Het creëren van meeslepende en speelbare 3D-werelden vanuit teksten of afbeeldingen blijft een fundamentele uitdaging in computervisie en grafische technologie. Bestaande benaderingen voor wereldgeneratie vallen doorgaans in twee categorieën: video-gebaseerde methoden die een rijke diversiteit bieden maar gebrek hebben aan 3D-consistentie en render-efficiëntie, en 3D-gebaseerde methoden die geometrische consistentie bieden maar worstelen met beperkte trainingsdata en geheugeninefficiënte representaties. Om deze beperkingen aan te pakken, presenteren we HunyuanWorld 1.0, een nieuw framework dat het beste van beide werelden combineert voor het genereren van meeslepende, verkennbare en interactieve 3D-scènes vanuit tekst- en afbeeldingscondities. Onze aanpak biedt drie belangrijke voordelen: 1) 360° meeslepende ervaringen via panoramische wereldproxies; 2) mesh-exportmogelijkheden voor naadloze compatibiliteit met bestaande computergrafische pijplijnen; 3) ontvlochten objectrepresentaties voor verhoogde interactiviteit. De kern van ons framework is een semantisch gelaagde 3D-meshrepresentatie die panoramische afbeeldingen gebruikt als 360° wereldproxies voor semantisch bewuste werelddecompositie en reconstructie, waardoor het genereren van diverse 3D-werelden mogelijk wordt. Uitgebreide experimenten tonen aan dat onze methode state-of-the-art prestaties bereikt in het genereren van samenhangende, verkennbare en interactieve 3D-werelden, terwijl het veelzijdige toepassingen mogelijk maakt in virtual reality, fysieke simulatie, game-ontwikkeling en interactieve contentcreatie.

English

Creating immersive and playable 3D worlds from texts or images remains a fundamental challenge in computer vision and graphics. Existing world generation approaches typically fall into two categories: video-based methods that offer rich diversity but lack 3D consistency and rendering efficiency, and 3D-based methods that provide geometric consistency but struggle with limited training data and memory-inefficient representations. To address these limitations, we present HunyuanWorld 1.0, a novel framework that combines the best of both worlds for generating immersive, explorable, and interactive 3D scenes from text and image conditions. Our approach features three key advantages: 1) 360{\deg} immersive experiences via panoramic world proxies; 2) mesh export capabilities for seamless compatibility with existing computer graphics pipelines; 3) disentangled object representations for augmented interactivity. The core of our framework is a semantically layered 3D mesh representation that leverages panoramic images as 360{\deg} world proxies for semantic-aware world decomposition and reconstruction, enabling the generation of diverse 3D worlds. Extensive experiments demonstrate that our method achieves state-of-the-art performance in generating coherent, explorable, and interactive 3D worlds while enabling versatile applications in virtual reality, physical simulation, game development, and interactive content creation.