UniDriveVLA: Vereinheitlichung von Verständnis, Wahrnehmung und Aktionsplanung für das autonome Fahren

UniDriveVLA: Unifying Understanding, Perception, and Action Planning for Autonomous Driving

April 2, 2026

Autoren: Yongkang Li, Lijun Zhou, Sixu Yan, Bencheng Liao, Tianyi Yan, Kaixin Xiong, Long Chen, Hongwei Xie, Bing Wang, Guang Chen, Hangjun Ye, Wenyu Liu, Haiyang Sun, Xinggang Wang

cs.AI

Zusammenfassung

Vision-Language-Action (VLA)-Modelle sind kürzlich im Bereich des autonomen Fahrens aufgetaucht und versprechen, durch die Nutzung umfangreichen Weltwissens die kognitiven Fähigkeiten von Fahrzeugsystemen zu verbessern. Die Anpassung solcher Modelle für Fahrzeugsteuerungsaufgaben steht jedoch vor einem kritischen Dilemma zwischen räumlicher Wahrnehmung und semantischer Entscheidungsfindung. Folglich sind bestehende VLA-Systeme zu suboptimalen Kompromissen gezwungen: Die direkte Übernahme von 2D-Vision-language-Modellen führt zu einer begrenzten räumlichen Wahrnehmung, während ihre Erweiterung um 3D-Raumrepräsentationen häufig die native Entscheidungsfähigkeit der VLMs beeinträchtigt. Wir sind der Ansicht, dass dieses Dilemma weitgehend aus der gekoppelten Optimierung von räumlicher Wahrnehmung und semantischer Entscheidungsfindung innerhalb gemeinsamer Modellparameter resultiert. Um dies zu überwinden, schlagen wir UniDriveVLA vor, ein Unified Driving Vision-Language-Action-Modell auf Basis von Mixture-of-Transformers, das den Wahrnehmungs-Entscheidungs-Konflikt durch Experten-Entkopplung adressiert. Konkret umfasst es drei Experten für Fahrverständnis, Szenenwahrnehmung und Aktionsplanung, die durch maskierte gemeinsame Aufmerksamkeit koordiniert werden. Zusätzlich kombinieren wir ein Paradigma der spärlichen Wahrnehmung mit einer dreistufigen, progressiven Trainingsstrategie, um die räumliche Wahrnehmung zu verbessern und gleichzeitig die semantische Entscheidungsfähigkeit zu erhalten. Umfangreiche Experimente zeigen, dass UniDriveVLA state-of-the-art Leistung in der Open-Loop-Bewertung auf nuScenes und in der Closed-Loop-Bewertung auf Bench2Drive erreicht. Darüber hinaus demonstriert es starke Leistungen über eine breite Palette von Wahrnehmungs-, Prognose- und Verständnisaufgaben, einschließlich 3D-Objekterkennung, Online-Kartierung, Bewegungsvorhersage und fahrorientiertem VQA, was seine breite Anwendbarkeit als einheitliches Modell für das autonome Fahren unterstreicht. Code und Modell wurden unter https://github.com/xiaomi-research/unidrivevla veröffentlicht.

English

Vision-Language-Action (VLA) models have recently emerged in autonomous driving, with the promise of leveraging rich world knowledge to improve the cognitive capabilities of driving systems. However, adapting such models for driving tasks currently faces a critical dilemma between spatial perception and semantic reasoning. Consequently, existing VLA systems are forced into suboptimal compromises: directly adopting 2D Vision-Language Models yields limited spatial perception, whereas enhancing them with 3D spatial representations often impairs the native reasoning capacity of VLMs. We argue that this dilemma largely stems from the coupled optimization of spatial perception and semantic reasoning within shared model parameters. To overcome this, we propose UniDriveVLA, a Unified Driving Vision-Language-Action model based on Mixture-of-Transformers that addresses the perception-reasoning conflict via expert decoupling. Specifically, it comprises three experts for driving understanding, scene perception, and action planning, which are coordinated through masked joint attention. In addition, we combine a sparse perception paradigm with a three-stage progressive training strategy to improve spatial perception while maintaining semantic reasoning capability. Extensive experiments show that UniDriveVLA achieves state-of-the-art performance in open-loop evaluation on nuScenes and closed-loop evaluation on Bench2Drive. Moreover, it demonstrates strong performance across a broad range of perception, prediction, and understanding tasks, including 3D detection, online mapping, motion forecasting, and driving-oriented VQA, highlighting its broad applicability as a unified model for autonomous driving. Code and model have been released at https://github.com/xiaomi-research/unidrivevla