PRIX: Erlernen von Planung aus Rohpixeln für End-to-End autonomes Fahren

PRIX: Learning to Plan from Raw Pixels for End-to-End Autonomous Driving

July 23, 2025

papers.authors: Maciej K. Wozniak, Lianhang Liu, Yixi Cai, Patric Jensfelt

cs.AI

papers.abstract

Während end-to-end-Modelle für autonomes Fahren vielversprechende Ergebnisse zeigen, wird ihre praktische Anwendung oft durch große Modellgrößen, die Abhängigkeit von teuren LiDAR-Sensoren und rechenintensive BEV-Feature-Repräsentationen behindert. Dies schränkt ihre Skalierbarkeit ein, insbesondere für Massenmarktfahrzeuge, die nur mit Kameras ausgestattet sind. Um diese Herausforderungen zu bewältigen, schlagen wir PRIX (Plan from Raw Pixels) vor. Unsere neuartige und effiziente end-to-end-Fahrarchitektur arbeitet ausschließlich mit Kameradaten, ohne explizite BEV-Repräsentation und ohne den Bedarf für LiDAR. PRIX nutzt einen visuellen Feature-Extraktor, der mit einem generativen Planungskopf gekoppelt ist, um sichere Trajektorien direkt aus Rohpixeleingaben vorherzusagen. Ein Kernbestandteil unserer Architektur ist der Context-aware Recalibration Transformer (CaRT), ein neuartiges Modul, das entwickelt wurde, um mehrstufige visuelle Features effektiv zu verbessern und so eine robustere Planung zu ermöglichen. Wir zeigen durch umfassende Experimente, dass PRIX auf den NavSim- und nuScenes-Benchmarks state-of-the-art-Leistung erzielt und dabei die Fähigkeiten größerer, multimodaler Diffusionsplaner erreicht, während es in Bezug auf Inferenzgeschwindigkeit und Modellgröße deutlich effizienter ist, was es zu einer praktischen Lösung für den realen Einsatz macht. Unsere Arbeit ist Open-Source, und der Code wird unter https://maxiuw.github.io/prix verfügbar sein.

English

While end-to-end autonomous driving models show promising results, their practical deployment is often hindered by large model sizes, a reliance on expensive LiDAR sensors and computationally intensive BEV feature representations. This limits their scalability, especially for mass-market vehicles equipped only with cameras. To address these challenges, we propose PRIX (Plan from Raw Pixels). Our novel and efficient end-to-end driving architecture operates using only camera data, without explicit BEV representation and forgoing the need for LiDAR. PRIX leverages a visual feature extractor coupled with a generative planning head to predict safe trajectories from raw pixel inputs directly. A core component of our architecture is the Context-aware Recalibration Transformer (CaRT), a novel module designed to effectively enhance multi-level visual features for more robust planning. We demonstrate through comprehensive experiments that PRIX achieves state-of-the-art performance on the NavSim and nuScenes benchmarks, matching the capabilities of larger, multimodal diffusion planners while being significantly more efficient in terms of inference speed and model size, making it a practical solution for real-world deployment. Our work is open-source and the code will be at https://maxiuw.github.io/prix.