Astra: Verso Robot Mobili a Scopo Generale tramite Apprendimento Multimodale Gerarchico
Astra: Toward General-Purpose Mobile Robots via Hierarchical Multimodal Learning
June 6, 2025
Autori: Sheng Chen, Peiyu He, Jiaxin Hu, Ziyang Liu, Yansheng Wang, Tao Xu, Chi Zhang, Chongchong Zhang, Chao An, Shiyu Cai, Duo Cao, Kangping Chen, Shuai Chu, Tianwei Chu, Mingdi Dan, Min Du, Weiwei Fang, Pengyou Fu, Junkai Hu, Xiaowei Jiang, Zhaodi Jiang, Fuxuan Li, Jun Li, Minghui Li, Mingyao Li, Yanchang Li, Zhibin Li, Guangming Liu, Kairui Liu, Lihao Liu, Weizhi Liu, Xiaoshun Liu, Yufei Liu, Yunfei Liu, Qiang Lu, Yuanfei Luo, Xiang Lv, Hongying Ma, Sai Ma, Lingxian Mi, Sha Sa, Hongxiang Shu, Lei Tian, Chengzhi Wang, Jiayu Wang, Kaijie Wang, Qingyi Wang, Renwen Wang, Tao Wang, Wei Wang, Xirui Wang, Chao Wei, Xuguang Wei, Zijun Xia, Zhaohao Xiao, Tingshuai Yan, Liyan Yang, Yifan Yang, Zhikai Yang, Zhong Yin, Li Yuan, Liuchun Yuan, Chi Zhang, Jinyang Zhang, Junhui Zhang, Linge Zhang, Zhenyi Zhang, Zheyu Zhang, Dongjie Zhu, Hang Li, Yangang Zhang
cs.AI
Abstract
I moderni sistemi di navigazione robotica incontrano difficoltà in ambienti interni diversificati e complessi. Gli approcci tradizionali si basano su più moduli con modelli di piccole dimensioni o sistemi basati su regole, mancando quindi di adattabilità a nuovi ambienti. Per affrontare questo problema, abbiamo sviluppato Astra, un'architettura dual-model completa, Astra-Global e Astra-Local, per la navigazione di robot mobili. Astra-Global, un LLM multimodale, elabora input visivi e linguistici per eseguire la localizzazione del robot e dell'obiettivo utilizzando un grafo topologico-semantico ibrido come mappa globale, superando i tradizionali metodi di riconoscimento visivo dei luoghi. Astra-Local, una rete multitask, gestisce la pianificazione del percorso locale e la stima dell'odometria. Il suo codificatore spazio-temporale 4D, addestrato attraverso l'apprendimento auto-supervisionato, genera robuste caratteristiche 4D per i task successivi. La testa di pianificazione utilizza il flow matching e una nuova funzione di perdita ESDF mascherata per minimizzare i rischi di collisione nella generazione di traiettorie locali, mentre la testa di odometria integra input multi-sensoriali tramite un encoder transformer per prevedere la posa relativa del robot. Implementato su robot mobili reali in ambienti interni, Astra raggiunge un'elevata percentuale di successo end-to-end in una varietà di ambienti interni.
English
Modern robot navigation systems encounter difficulties in diverse and complex
indoor environments. Traditional approaches rely on multiple modules with small
models or rule-based systems and thus lack adaptability to new environments. To
address this, we developed Astra, a comprehensive dual-model architecture,
Astra-Global and Astra-Local, for mobile robot navigation. Astra-Global, a
multimodal LLM, processes vision and language inputs to perform self and goal
localization using a hybrid topological-semantic graph as the global map, and
outperforms traditional visual place recognition methods. Astra-Local, a
multitask network, handles local path planning and odometry estimation. Its 4D
spatial-temporal encoder, trained through self-supervised learning, generates
robust 4D features for downstream tasks. The planning head utilizes flow
matching and a novel masked ESDF loss to minimize collision risks for
generating local trajectories, and the odometry head integrates multi-sensor
inputs via a transformer encoder to predict the relative pose of the robot.
Deployed on real in-house mobile robots, Astra achieves high end-to-end mission
success rate across diverse indoor environments.