Habitat-GS: Een Hoogwaardige Navigatiesimulator met Dynamische Gaussian Splatting
Habitat-GS: A High-Fidelity Navigation Simulator with Dynamic Gaussian Splatting
April 14, 2026
Auteurs: Ziyuan Xia, Jingyi Xu, Chong Cui, Yuanhong Yu, Jiazhao Zhang, Qingsong Yan, Tao Ni, Junbo Chen, Xiaowei Zhou, Hujun Bao, Ruizhen Hu, Sida Peng
cs.AI
Samenvatting
Het trainen van belichaamde AI-agenten is in hoge mate afhankelijk van de visuele weergave van simulatie-omgevingen en de mogelijkheid om dynamische mensen te modelleren. Huidige simulatoren maken gebruik van mesh-gebaseerde rasterisatie met beperkte visuele realiteitsgetrouwheid, en hun ondersteuning voor dynamische menselijke avatars – waar beschikbaar – is beperkt tot mesh-representaties, wat de generalisatie van agenten naar realistische scenario's met mensen belemmert. Wij presenteren Habitat-GS, een navigatiegerichte simulator voor belichaamde AI, uitgebreid vanuit Habitat-Sim, die 3D Gaussian Splatting-scènerendering en bestuurbare gaussiaanse avatars integreert, terwijl volledige compatibiliteit met het Habitat-ecosysteem behouden blijft. Ons systeem implementeert een 3DGS-renderer voor realtime fotorealistisch renderen en ondersteunt schaalbare import van 3DGS-assets uit diverse bronnen. Voor dynamische menselijke modellering introduceren we een gaussiaanse avatarmodule die het mogelijk maakt dat elke avatar tegelijkertijd dient als een fotorealistische visuele entiteit en een effectief navigatie-obstakel, waardoor agenten mensbewust gedrag kunnen leren in realistische omgevingen. Experimenten met point-goal navigatie tonen aan dat agenten getraind op 3DGS-scènes sterkere cross-domein generalisatie bereiken, waarbij training in gemengde domeinen de meest effectieve strategie is. Evaluaties van avatar-bewuste navigatie bevestigen verder dat gaussiaanse avatars effectieve mensbewuste navigatie mogelijk maken. Ten slotte valideren prestatiebenchmarks de schaalbaarheid van het systeem bij variërende scènecomplexiteit en aantallen avatars.
English
Training embodied AI agents depends critically on the visual fidelity of simulation environments and the ability to model dynamic humans. Current simulators rely on mesh-based rasterization with limited visual realism, and their support for dynamic human avatars, where available, is constrained to mesh representations, hindering agent generalization to human-populated real-world scenarios. We present Habitat-GS, a navigation-centric embodied AI simulator extended from Habitat-Sim that integrates 3D Gaussian Splatting scene rendering and drivable gaussian avatars while maintaining full compatibility with the Habitat ecosystem. Our system implements a 3DGS renderer for real-time photorealistic rendering and supports scalable 3DGS asset import from diverse sources. For dynamic human modeling, we introduce a gaussian avatar module that enables each avatar to simultaneously serve as a photorealistic visual entity and an effective navigation obstacle, allowing agents to learn human-aware behaviors in realistic settings. Experiments on point-goal navigation demonstrate that agents trained on 3DGS scenes achieve stronger cross-domain generalization, with mixed-domain training being the most effective strategy. Evaluations on avatar-aware navigation further confirm that gaussian avatars enable effective human-aware navigation. Finally, performance benchmarks validate the system's scalability across varying scene complexity and avatar counts.