PRIX: Apprendimento della pianificazione da immagini grezze per la guida autonoma end-to-end

PRIX: Learning to Plan from Raw Pixels for End-to-End Autonomous Driving

July 23, 2025

Autori: Maciej K. Wozniak, Lianhang Liu, Yixi Cai, Patric Jensfelt

cs.AI

Abstract

Sebbene i modelli di guida autonoma end-to-end mostrino risultati promettenti, il loro impiego pratico è spesso ostacolato dalle grandi dimensioni del modello, dalla dipendenza da costosi sensori LiDAR e dalle rappresentazioni di feature BEV computazionalmente intensive. Ciò ne limita la scalabilità, specialmente per i veicoli di massa equipaggiati solo con telecamere. Per affrontare queste sfide, proponiamo PRIX (Plan from Raw Pixels). La nostra innovativa ed efficiente architettura di guida end-to-end opera utilizzando solo dati provenienti dalle telecamere, senza una rappresentazione esplicita BEV e rinunciando alla necessità del LiDAR. PRIX sfrutta un estrattore di feature visive accoppiato a una testa di pianificazione generativa per prevedere traiettorie sicure direttamente dagli input di pixel grezzi. Un componente fondamentale della nostra architettura è il Context-aware Recalibration Transformer (CaRT), un modulo innovativo progettato per migliorare efficacemente le feature visive multi-livello per una pianificazione più robusta. Dimostriamo attraverso esperimenti completi che PRIX raggiunge prestazioni all'avanguardia sui benchmark NavSim e nuScenes, eguagliando le capacità di pianificatori di diffusione multimodali più grandi, pur essendo significativamente più efficiente in termini di velocità di inferenza e dimensioni del modello, rendendolo una soluzione pratica per il dispiegamento nel mondo reale. Il nostro lavoro è open-source e il codice sarà disponibile su https://maxiuw.github.io/prix.

English

While end-to-end autonomous driving models show promising results, their practical deployment is often hindered by large model sizes, a reliance on expensive LiDAR sensors and computationally intensive BEV feature representations. This limits their scalability, especially for mass-market vehicles equipped only with cameras. To address these challenges, we propose PRIX (Plan from Raw Pixels). Our novel and efficient end-to-end driving architecture operates using only camera data, without explicit BEV representation and forgoing the need for LiDAR. PRIX leverages a visual feature extractor coupled with a generative planning head to predict safe trajectories from raw pixel inputs directly. A core component of our architecture is the Context-aware Recalibration Transformer (CaRT), a novel module designed to effectively enhance multi-level visual features for more robust planning. We demonstrate through comprehensive experiments that PRIX achieves state-of-the-art performance on the NavSim and nuScenes benchmarks, matching the capabilities of larger, multimodal diffusion planners while being significantly more efficient in terms of inference speed and model size, making it a practical solution for real-world deployment. Our work is open-source and the code will be at https://maxiuw.github.io/prix.