Astra: Rumo a Robôs Móveis de Propósito Geral por meio de Aprendizado Multimodal Hierárquico

Astra: Toward General-Purpose Mobile Robots via Hierarchical Multimodal Learning

June 6, 2025

Autores: Sheng Chen, Peiyu He, Jiaxin Hu, Ziyang Liu, Yansheng Wang, Tao Xu, Chi Zhang, Chongchong Zhang, Chao An, Shiyu Cai, Duo Cao, Kangping Chen, Shuai Chu, Tianwei Chu, Mingdi Dan, Min Du, Weiwei Fang, Pengyou Fu, Junkai Hu, Xiaowei Jiang, Zhaodi Jiang, Fuxuan Li, Jun Li, Minghui Li, Mingyao Li, Yanchang Li, Zhibin Li, Guangming Liu, Kairui Liu, Lihao Liu, Weizhi Liu, Xiaoshun Liu, Yufei Liu, Yunfei Liu, Qiang Lu, Yuanfei Luo, Xiang Lv, Hongying Ma, Sai Ma, Lingxian Mi, Sha Sa, Hongxiang Shu, Lei Tian, Chengzhi Wang, Jiayu Wang, Kaijie Wang, Qingyi Wang, Renwen Wang, Tao Wang, Wei Wang, Xirui Wang, Chao Wei, Xuguang Wei, Zijun Xia, Zhaohao Xiao, Tingshuai Yan, Liyan Yang, Yifan Yang, Zhikai Yang, Zhong Yin, Li Yuan, Liuchun Yuan, Chi Zhang, Jinyang Zhang, Junhui Zhang, Linge Zhang, Zhenyi Zhang, Zheyu Zhang, Dongjie Zhu, Hang Li, Yangang Zhang

cs.AI

Resumo

Os sistemas modernos de navegação robótica enfrentam dificuldades em ambientes internos diversos e complexos. As abordagens tradicionais dependem de múltiplos módulos com modelos pequenos ou sistemas baseados em regras, carecendo assim de adaptabilidade a novos ambientes. Para resolver isso, desenvolvemos o Astra, uma arquitetura abrangente de modelo duplo, Astra-Global e Astra-Local, para navegação de robôs móveis. O Astra-Global, um modelo de linguagem multimodal (LLM), processa entradas visuais e de linguagem para realizar a localização do robô e do objetivo, utilizando um grafo topológico-semântico híbrido como mapa global, e supera os métodos tradicionais de reconhecimento visual de lugares. O Astra-Local, uma rede multitarefa, lida com o planejamento de trajetórias locais e a estimativa de odometria. Seu codificador espaço-temporal 4D, treinado por meio de aprendizado auto-supervisionado, gera recursos 4D robustos para tarefas subsequentes. O cabeçalho de planejamento utiliza correspondência de fluxo e uma nova função de perda ESDF mascarada para minimizar os riscos de colisão ao gerar trajetórias locais, e o cabeçalho de odometria integra entradas de múltiplos sensores por meio de um codificador transformer para prever a pose relativa do robô. Implantado em robôs móveis reais, o Astra alcança uma alta taxa de sucesso de missão de ponta a ponta em diversos ambientes internos.

English

Modern robot navigation systems encounter difficulties in diverse and complex indoor environments. Traditional approaches rely on multiple modules with small models or rule-based systems and thus lack adaptability to new environments. To address this, we developed Astra, a comprehensive dual-model architecture, Astra-Global and Astra-Local, for mobile robot navigation. Astra-Global, a multimodal LLM, processes vision and language inputs to perform self and goal localization using a hybrid topological-semantic graph as the global map, and outperforms traditional visual place recognition methods. Astra-Local, a multitask network, handles local path planning and odometry estimation. Its 4D spatial-temporal encoder, trained through self-supervised learning, generates robust 4D features for downstream tasks. The planning head utilizes flow matching and a novel masked ESDF loss to minimize collision risks for generating local trajectories, and the odometry head integrates multi-sensor inputs via a transformer encoder to predict the relative pose of the robot. Deployed on real in-house mobile robots, Astra achieves high end-to-end mission success rate across diverse indoor environments.