Habitat-GS: Высокоточный навигационный симулятор с динамическим гауссовым разложением

Habitat-GS: A High-Fidelity Navigation Simulator with Dynamic Gaussian Splatting

April 14, 2026

Авторы: Ziyuan Xia, Jingyi Xu, Chong Cui, Yuanhong Yu, Jiazhao Zhang, Qingsong Yan, Tao Ni, Junbo Chen, Xiaowei Zhou, Hujun Bao, Ruizhen Hu, Sida Peng

cs.AI

Аннотация

Обучение воплощенных ИИ-агентов критически зависит от визуального правдоподобия симуляционных сред и возможности моделирования динамических людей. Современные симуляторы полагаются на растровую визуализацию на основе полигональных сеток с ограниченным визуальным реализмом, а их поддержка динамических аватаров человека, где она доступна, ограничена сетечными представлениями, что препятствует обобщению агентов на реальные сценарии с присутствием людей. Мы представляем Habitat-GS, симулятор для воплощенного ИИ с фокусом на навигации, расширяющий Habitat-Sim, который интегрирует рендеринг сцен методом 3D Gaussian Splatting и управляемые гауссовы аватары, сохраняя полную совместимость с экосистемой Habitat. Наша система реализует 3DGS-рендерер для фотореалистичного рендеринга в реальном времени и поддерживает масштабируемый импорт 3DGS-ассетов из различных источников. Для моделирования динамических людей мы представляем модуль гауссовых аватаров, который позволяет каждому аватару одновременно служить фотореалистичной визуальной сущностью и эффективным навигационным препятствием, что позволяет агентам обучаться поведению с учетом людей в реалистичных условиях. Эксперименты по навигации к точечной цели демонстрируют, что агенты, обученные на 3DGS-сценах, достигают лучшего междоменного обобщения, причем стратегия смешанного доменного обучения оказывается наиболее эффективной. Оценки навигации с учетом аватаров дополнительно подтверждают, что гауссовы аватары обеспечивают эффективную навигацию с учетом человека. Наконец, тесты производительности подтверждают масштабируемость системы при различной сложности сцен и количестве аватаров.

English

Training embodied AI agents depends critically on the visual fidelity of simulation environments and the ability to model dynamic humans. Current simulators rely on mesh-based rasterization with limited visual realism, and their support for dynamic human avatars, where available, is constrained to mesh representations, hindering agent generalization to human-populated real-world scenarios. We present Habitat-GS, a navigation-centric embodied AI simulator extended from Habitat-Sim that integrates 3D Gaussian Splatting scene rendering and drivable gaussian avatars while maintaining full compatibility with the Habitat ecosystem. Our system implements a 3DGS renderer for real-time photorealistic rendering and supports scalable 3DGS asset import from diverse sources. For dynamic human modeling, we introduce a gaussian avatar module that enables each avatar to simultaneously serve as a photorealistic visual entity and an effective navigation obstacle, allowing agents to learn human-aware behaviors in realistic settings. Experiments on point-goal navigation demonstrate that agents trained on 3DGS scenes achieve stronger cross-domain generalization, with mixed-domain training being the most effective strategy. Evaluations on avatar-aware navigation further confirm that gaussian avatars enable effective human-aware navigation. Finally, performance benchmarks validate the system's scalability across varying scene complexity and avatar counts.