PRIX : Apprentissage de la planification à partir de pixels bruts pour la conduite autonome de bout en bout

PRIX: Learning to Plan from Raw Pixels for End-to-End Autonomous Driving

July 23, 2025

papers.authors: Maciej K. Wozniak, Lianhang Liu, Yixi Cai, Patric Jensfelt

cs.AI

papers.abstract

Bien que les modèles de conduite autonome de bout en bout montrent des résultats prometteurs, leur déploiement pratique est souvent entravé par des tailles de modèles importantes, une dépendance à des capteurs LiDAR coûteux et des représentations de caractéristiques BEV (Bird's Eye View) intensives en calcul. Cela limite leur évolutivité, en particulier pour les véhicules grand public équipés uniquement de caméras. Pour relever ces défis, nous proposons PRIX (Plan from Raw Pixels). Notre architecture de conduite de bout en bout novatrice et efficace fonctionne uniquement avec des données de caméra, sans représentation BEV explicite et sans nécessiter de LiDAR. PRIX exploite un extracteur de caractéristiques visuelles couplé à un module de planification générative pour prédire directement des trajectoires sûres à partir des pixels bruts. Un composant central de notre architecture est le Context-aware Recalibration Transformer (CaRT), un module novateur conçu pour améliorer efficacement les caractéristiques visuelles multi-niveaux afin de permettre une planification plus robuste. Nous démontrons à travers des expériences approfondies que PRIX atteint des performances de pointe sur les benchmarks NavSim et nuScenes, égalant les capacités des planificateurs de diffusion multimodaux plus volumineux tout en étant nettement plus efficace en termes de vitesse d'inférence et de taille de modèle, ce qui en fait une solution pratique pour un déploiement réel. Notre travail est open-source et le code sera disponible à l'adresse https://maxiuw.github.io/prix.

English

While end-to-end autonomous driving models show promising results, their practical deployment is often hindered by large model sizes, a reliance on expensive LiDAR sensors and computationally intensive BEV feature representations. This limits their scalability, especially for mass-market vehicles equipped only with cameras. To address these challenges, we propose PRIX (Plan from Raw Pixels). Our novel and efficient end-to-end driving architecture operates using only camera data, without explicit BEV representation and forgoing the need for LiDAR. PRIX leverages a visual feature extractor coupled with a generative planning head to predict safe trajectories from raw pixel inputs directly. A core component of our architecture is the Context-aware Recalibration Transformer (CaRT), a novel module designed to effectively enhance multi-level visual features for more robust planning. We demonstrate through comprehensive experiments that PRIX achieves state-of-the-art performance on the NavSim and nuScenes benchmarks, matching the capabilities of larger, multimodal diffusion planners while being significantly more efficient in terms of inference speed and model size, making it a practical solution for real-world deployment. Our work is open-source and the code will be at https://maxiuw.github.io/prix.