Astra: Auf dem Weg zu universell einsetzbaren mobilen Robotern durch hierarchisches multimodales Lernen

Astra: Toward General-Purpose Mobile Robots via Hierarchical Multimodal Learning

June 6, 2025

Autoren: Sheng Chen, Peiyu He, Jiaxin Hu, Ziyang Liu, Yansheng Wang, Tao Xu, Chi Zhang, Chongchong Zhang, Chao An, Shiyu Cai, Duo Cao, Kangping Chen, Shuai Chu, Tianwei Chu, Mingdi Dan, Min Du, Weiwei Fang, Pengyou Fu, Junkai Hu, Xiaowei Jiang, Zhaodi Jiang, Fuxuan Li, Jun Li, Minghui Li, Mingyao Li, Yanchang Li, Zhibin Li, Guangming Liu, Kairui Liu, Lihao Liu, Weizhi Liu, Xiaoshun Liu, Yufei Liu, Yunfei Liu, Qiang Lu, Yuanfei Luo, Xiang Lv, Hongying Ma, Sai Ma, Lingxian Mi, Sha Sa, Hongxiang Shu, Lei Tian, Chengzhi Wang, Jiayu Wang, Kaijie Wang, Qingyi Wang, Renwen Wang, Tao Wang, Wei Wang, Xirui Wang, Chao Wei, Xuguang Wei, Zijun Xia, Zhaohao Xiao, Tingshuai Yan, Liyan Yang, Yifan Yang, Zhikai Yang, Zhong Yin, Li Yuan, Liuchun Yuan, Chi Zhang, Jinyang Zhang, Junhui Zhang, Linge Zhang, Zhenyi Zhang, Zheyu Zhang, Dongjie Zhu, Hang Li, Yangang Zhang

cs.AI

Zusammenfassung

Moderne Roboternavigationssysteme stoßen in vielfältigen und komplexen Innenraumumgebungen auf Schwierigkeiten. Traditionelle Ansätze verlassen sich auf mehrere Module mit kleinen Modellen oder regelbasierten Systemen und fehlen daher die Anpassungsfähigkeit an neue Umgebungen. Um dies zu beheben, haben wir Astra entwickelt, eine umfassende Dual-Modell-Architektur, bestehend aus Astra-Global und Astra-Local, für die Navigation mobiler Roboter. Astra-Global, ein multimodales LLM, verarbeitet visuelle und sprachliche Eingaben, um Selbst- und Ziel-Lokalisierung mithilfe eines hybriden topologisch-semantischen Graphen als globale Karte durchzuführen, und übertrifft dabei traditionelle Methoden der visuellen Ortserkennung. Astra-Local, ein Multitask-Netzwerk, übernimmt die lokale Pfadplanung und Odometrie-Schätzung. Sein 4D räumlich-zeitlicher Encoder, der durch selbstüberwachtes Lernen trainiert wird, erzeugt robuste 4D-Features für nachgelagerte Aufgaben. Der Planungskopf nutzt Flow Matching und einen neuartigen maskierten ESDF-Loss, um Kollisionsrisiken bei der Generierung lokaler Trajektorien zu minimieren, und der Odometrie-Kopf integriert Multi-Sensor-Eingaben über einen Transformer-Encoder, um die relative Pose des Roboters vorherzusagen. Auf realen hauseigenen mobilen Robotern eingesetzt, erreicht Astra eine hohe End-to-End-Missionserfolgsrate in verschiedenen Innenraumumgebungen.

English

Modern robot navigation systems encounter difficulties in diverse and complex indoor environments. Traditional approaches rely on multiple modules with small models or rule-based systems and thus lack adaptability to new environments. To address this, we developed Astra, a comprehensive dual-model architecture, Astra-Global and Astra-Local, for mobile robot navigation. Astra-Global, a multimodal LLM, processes vision and language inputs to perform self and goal localization using a hybrid topological-semantic graph as the global map, and outperforms traditional visual place recognition methods. Astra-Local, a multitask network, handles local path planning and odometry estimation. Its 4D spatial-temporal encoder, trained through self-supervised learning, generates robust 4D features for downstream tasks. The planning head utilizes flow matching and a novel masked ESDF loss to minimize collision risks for generating local trajectories, and the odometry head integrates multi-sensor inputs via a transformer encoder to predict the relative pose of the robot. Deployed on real in-house mobile robots, Astra achieves high end-to-end mission success rate across diverse indoor environments.