Astra: Hacia robots móviles de propósito general mediante aprendizaje multimodal jerárquico
Astra: Toward General-Purpose Mobile Robots via Hierarchical Multimodal Learning
June 6, 2025
Autores: Sheng Chen, Peiyu He, Jiaxin Hu, Ziyang Liu, Yansheng Wang, Tao Xu, Chi Zhang, Chongchong Zhang, Chao An, Shiyu Cai, Duo Cao, Kangping Chen, Shuai Chu, Tianwei Chu, Mingdi Dan, Min Du, Weiwei Fang, Pengyou Fu, Junkai Hu, Xiaowei Jiang, Zhaodi Jiang, Fuxuan Li, Jun Li, Minghui Li, Mingyao Li, Yanchang Li, Zhibin Li, Guangming Liu, Kairui Liu, Lihao Liu, Weizhi Liu, Xiaoshun Liu, Yufei Liu, Yunfei Liu, Qiang Lu, Yuanfei Luo, Xiang Lv, Hongying Ma, Sai Ma, Lingxian Mi, Sha Sa, Hongxiang Shu, Lei Tian, Chengzhi Wang, Jiayu Wang, Kaijie Wang, Qingyi Wang, Renwen Wang, Tao Wang, Wei Wang, Xirui Wang, Chao Wei, Xuguang Wei, Zijun Xia, Zhaohao Xiao, Tingshuai Yan, Liyan Yang, Yifan Yang, Zhikai Yang, Zhong Yin, Li Yuan, Liuchun Yuan, Chi Zhang, Jinyang Zhang, Junhui Zhang, Linge Zhang, Zhenyi Zhang, Zheyu Zhang, Dongjie Zhu, Hang Li, Yangang Zhang
cs.AI
Resumen
Los sistemas modernos de navegación robótica enfrentan dificultades en entornos interiores diversos y complejos. Los enfoques tradicionales dependen de múltiples módulos con modelos pequeños o sistemas basados en reglas, lo que limita su adaptabilidad a nuevos entornos. Para abordar este problema, desarrollamos Astra, una arquitectura dual integral compuesta por Astra-Global y Astra-Local, diseñada para la navegación de robots móviles. Astra-Global, un modelo de lenguaje multimodal (LLM), procesa entradas visuales y lingüísticas para realizar la localización del robot y del objetivo utilizando un grafo topológico-semántico híbrido como mapa global, superando los métodos tradicionales de reconocimiento de lugares visuales. Astra-Local, una red multitarea, se encarga de la planificación de rutas locales y la estimación de odometría. Su codificador espacio-temporal 4D, entrenado mediante aprendizaje autosupervisado, genera características 4D robustas para tareas posteriores. El módulo de planificación utiliza emparejamiento de flujo y una nueva función de pérdida ESDF enmascarada para minimizar los riesgos de colisión al generar trayectorias locales, mientras que el módulo de odometría integra entradas multisensoriales mediante un codificador transformador para predecir la pose relativa del robot. Implementado en robots móviles reales en entornos interiores diversos, Astra logra una alta tasa de éxito en misiones de extremo a extremo.
English
Modern robot navigation systems encounter difficulties in diverse and complex
indoor environments. Traditional approaches rely on multiple modules with small
models or rule-based systems and thus lack adaptability to new environments. To
address this, we developed Astra, a comprehensive dual-model architecture,
Astra-Global and Astra-Local, for mobile robot navigation. Astra-Global, a
multimodal LLM, processes vision and language inputs to perform self and goal
localization using a hybrid topological-semantic graph as the global map, and
outperforms traditional visual place recognition methods. Astra-Local, a
multitask network, handles local path planning and odometry estimation. Its 4D
spatial-temporal encoder, trained through self-supervised learning, generates
robust 4D features for downstream tasks. The planning head utilizes flow
matching and a novel masked ESDF loss to minimize collision risks for
generating local trajectories, and the odometry head integrates multi-sensor
inputs via a transformer encoder to predict the relative pose of the robot.
Deployed on real in-house mobile robots, Astra achieves high end-to-end mission
success rate across diverse indoor environments.