Habitat-GS: Un Simulador de Navegación de Alta Fidelidad con Gaussian Splatting Dinámico
Habitat-GS: A High-Fidelity Navigation Simulator with Dynamic Gaussian Splatting
April 14, 2026
Autores: Ziyuan Xia, Jingyi Xu, Chong Cui, Yuanhong Yu, Jiazhao Zhang, Qingsong Yan, Tao Ni, Junbo Chen, Xiaowei Zhou, Hujun Bao, Ruizhen Hu, Sida Peng
cs.AI
Resumen
El entrenamiento de agentes de IA corporizados depende críticamente de la fidelidad visual de los entornos de simulación y de la capacidad para modelar humanos dinámicos. Los simuladores actuales se basan en el rasterizado basado en mallas con un realismo visual limitado, y su soporte para avatares humanos dinámicos, cuando está disponible, se restringe a representaciones de malla, lo que dificulta la generalización de los agentes a escenarios del mundo real poblados por humanos. Presentamos Habitat-GS, un simulador de IA corporizada centrado en la navegación, extendido a partir de Habitat-Sim, que integra la representación de escenas mediante *3D Gaussian Splatting* (3DGS) y avatares gaussianos manejables, manteniendo al mismo tiempo una compatibilidad total con el ecosistema Habitat. Nuestro sistema implementa un motor de renderizado 3DGS para una representación fotorrealista en tiempo real y admite la importación escalable de activos 3DGS desde diversas fuentes. Para el modelado de humanos dinámicos, presentamos un módulo de avatar gaussiano que permite que cada avatar funcione simultáneamente como una entidad visual fotorrealista y como un obstáculo de navegación efectivo, permitiendo a los agentes aprender comportamientos conscientes de la presencia humana en entornos realistas. Los experimentos en navegación hacia un punto objetivo demuestran que los agentes entrenados en escenas 3DGS logran una generalización cruzada de dominio más sólida, siendo el entrenamiento en dominios mixtos la estrategia más efectiva. Las evaluaciones en navegación consciente del avatar confirman además que los avatares gaussianos permiten una navegación efectiva y consciente de los humanos. Finalmente, los análisis de rendimiento validan la escalabilidad del sistema frente a diferentes niveles de complejidad de escena y número de avatares.
English
Training embodied AI agents depends critically on the visual fidelity of simulation environments and the ability to model dynamic humans. Current simulators rely on mesh-based rasterization with limited visual realism, and their support for dynamic human avatars, where available, is constrained to mesh representations, hindering agent generalization to human-populated real-world scenarios. We present Habitat-GS, a navigation-centric embodied AI simulator extended from Habitat-Sim that integrates 3D Gaussian Splatting scene rendering and drivable gaussian avatars while maintaining full compatibility with the Habitat ecosystem. Our system implements a 3DGS renderer for real-time photorealistic rendering and supports scalable 3DGS asset import from diverse sources. For dynamic human modeling, we introduce a gaussian avatar module that enables each avatar to simultaneously serve as a photorealistic visual entity and an effective navigation obstacle, allowing agents to learn human-aware behaviors in realistic settings. Experiments on point-goal navigation demonstrate that agents trained on 3DGS scenes achieve stronger cross-domain generalization, with mixed-domain training being the most effective strategy. Evaluations on avatar-aware navigation further confirm that gaussian avatars enable effective human-aware navigation. Finally, performance benchmarks validate the system's scalability across varying scene complexity and avatar counts.