Habitat-GS: Un Simulatore di Navigazione ad Alta Fedeltà con Gaussian Splatting Dinamico
Habitat-GS: A High-Fidelity Navigation Simulator with Dynamic Gaussian Splatting
April 14, 2026
Autori: Ziyuan Xia, Jingyi Xu, Chong Cui, Yuanhong Yu, Jiazhao Zhang, Qingsong Yan, Tao Ni, Junbo Chen, Xiaowei Zhou, Hujun Bao, Ruizhen Hu, Sida Peng
cs.AI
Abstract
L'addestramento di agenti di IA incarnati dipende in modo cruciale dalla fedeltà visiva degli ambienti di simulazione e dalla capacità di modellare esseri umani dinamici. Gli attuali simulatori si basano sul rasterizzazione basata su mesh con un realismo visivo limitato, e il loro supporto per avatar umani dinamici, ove disponibile, è vincolato a rappresentazioni a mesh, ostacolando la generalizzazione degli agenti verso scenari reali popolati da esseri umani. Presentiamo Habitat-GS, un simulatore per IA incarnata centrato sulla navigazione, esteso da Habitat-Sim, che integra il rendering di scene tramite 3D Gaussian Splatting e avatar gaussiani guidabili, mantenendo al contempo la piena compatibilità con l'ecosistema Habitat. Il nostro sistema implementa un renderer 3DGS per un rendering fotorealistico in tempo reale e supporta l'importazione scalabile di asset 3DGS da fonti diverse. Per la modellazione umana dinamica, introduciamo un modulo di avatar gaussiano che consente a ciascun avatar di fungere simultaneamente da entità visiva fotorealistica e da ostacolo efficace per la navigazione, permettendo agli agenti di apprendere comportamenti consapevoli della presenza umana in ambienti realistici. Esperimenti sulla navigazione verso un punto-obiettivo dimostrano che gli agenti addestrati su scene 3DGS raggiungono una generalizzazione cross-dominio più robusta, con l'addestramento su domini misti che risulta la strategia più efficace. Valutazioni sulla navigazione consapevole degli avatar confermano ulteriormente che gli avatar gaussiani abilitano una navigazione efficace e consapevole della presenza umana. Infine, benchmark delle prestazioni convalidano la scalabilità del sistema al variare della complessità della scena e del numero di avatar.
English
Training embodied AI agents depends critically on the visual fidelity of simulation environments and the ability to model dynamic humans. Current simulators rely on mesh-based rasterization with limited visual realism, and their support for dynamic human avatars, where available, is constrained to mesh representations, hindering agent generalization to human-populated real-world scenarios. We present Habitat-GS, a navigation-centric embodied AI simulator extended from Habitat-Sim that integrates 3D Gaussian Splatting scene rendering and drivable gaussian avatars while maintaining full compatibility with the Habitat ecosystem. Our system implements a 3DGS renderer for real-time photorealistic rendering and supports scalable 3DGS asset import from diverse sources. For dynamic human modeling, we introduce a gaussian avatar module that enables each avatar to simultaneously serve as a photorealistic visual entity and an effective navigation obstacle, allowing agents to learn human-aware behaviors in realistic settings. Experiments on point-goal navigation demonstrate that agents trained on 3DGS scenes achieve stronger cross-domain generalization, with mixed-domain training being the most effective strategy. Evaluations on avatar-aware navigation further confirm that gaussian avatars enable effective human-aware navigation. Finally, performance benchmarks validate the system's scalability across varying scene complexity and avatar counts.