Astra: Op weg naar algemeen inzetbare mobiele robots via hiërarchisch multimodaal leren

Astra: Toward General-Purpose Mobile Robots via Hierarchical Multimodal Learning

June 6, 2025

Auteurs: Sheng Chen, Peiyu He, Jiaxin Hu, Ziyang Liu, Yansheng Wang, Tao Xu, Chi Zhang, Chongchong Zhang, Chao An, Shiyu Cai, Duo Cao, Kangping Chen, Shuai Chu, Tianwei Chu, Mingdi Dan, Min Du, Weiwei Fang, Pengyou Fu, Junkai Hu, Xiaowei Jiang, Zhaodi Jiang, Fuxuan Li, Jun Li, Minghui Li, Mingyao Li, Yanchang Li, Zhibin Li, Guangming Liu, Kairui Liu, Lihao Liu, Weizhi Liu, Xiaoshun Liu, Yufei Liu, Yunfei Liu, Qiang Lu, Yuanfei Luo, Xiang Lv, Hongying Ma, Sai Ma, Lingxian Mi, Sha Sa, Hongxiang Shu, Lei Tian, Chengzhi Wang, Jiayu Wang, Kaijie Wang, Qingyi Wang, Renwen Wang, Tao Wang, Wei Wang, Xirui Wang, Chao Wei, Xuguang Wei, Zijun Xia, Zhaohao Xiao, Tingshuai Yan, Liyan Yang, Yifan Yang, Zhikai Yang, Zhong Yin, Li Yuan, Liuchun Yuan, Chi Zhang, Jinyang Zhang, Junhui Zhang, Linge Zhang, Zhenyi Zhang, Zheyu Zhang, Dongjie Zhu, Hang Li, Yangang Zhang

cs.AI

Samenvatting

Moderne robotnavigatiesystemen ondervinden moeilijkheden in diverse en complexe binnenomgevingen. Traditionele benaderingen vertrouwen op meerdere modules met kleine modellen of op regels gebaseerde systemen en missen daardoor aanpassingsvermogen aan nieuwe omgevingen. Om dit aan te pakken, ontwikkelden we Astra, een uitgebreide dual-modelarchitectuur, Astra-Global en Astra-Local, voor mobiele robotnavigatie. Astra-Global, een multimodaal LLM, verwerkt visuele en taalinvoer om zelf- en doellokalisatie uit te voeren met behulp van een hybride topologisch-semantische grafiek als de globale kaart, en overtreft traditionele methoden voor visuele plaatsherkenning. Astra-Local, een multitasknetwerk, behandelt lokale padplanning en odometrieschatting. De 4D ruimtelijk-temporele encoder, getraind door middel van zelfsupervised learning, genereert robuuste 4D-functies voor downstreamtaken. De planningskop maakt gebruik van flow matching en een nieuwe gemaskeerde ESDF-verliesfunctie om botsingsrisico's te minimaliseren bij het genereren van lokale trajecten, en de odometriekop integreert multi-sensorinvoer via een transformercoder om de relatieve positie van de robot te voorspellen. Geïmplementeerd op echte interne mobiele robots, behaalt Astra een hoge end-to-end missiesuccesratio in diverse binnenomgevingen.

English

Modern robot navigation systems encounter difficulties in diverse and complex indoor environments. Traditional approaches rely on multiple modules with small models or rule-based systems and thus lack adaptability to new environments. To address this, we developed Astra, a comprehensive dual-model architecture, Astra-Global and Astra-Local, for mobile robot navigation. Astra-Global, a multimodal LLM, processes vision and language inputs to perform self and goal localization using a hybrid topological-semantic graph as the global map, and outperforms traditional visual place recognition methods. Astra-Local, a multitask network, handles local path planning and odometry estimation. Its 4D spatial-temporal encoder, trained through self-supervised learning, generates robust 4D features for downstream tasks. The planning head utilizes flow matching and a novel masked ESDF loss to minimize collision risks for generating local trajectories, and the odometry head integrates multi-sensor inputs via a transformer encoder to predict the relative pose of the robot. Deployed on real in-house mobile robots, Astra achieves high end-to-end mission success rate across diverse indoor environments.