PRIX: Обучение планированию на основе необработанных пикселей для сквозного автономного вождения

PRIX: Learning to Plan from Raw Pixels for End-to-End Autonomous Driving

July 23, 2025

Авторы: Maciej K. Wozniak, Lianhang Liu, Yixi Cai, Patric Jensfelt

cs.AI

Аннотация

Хотя сквозные модели автономного вождения демонстрируют многообещающие результаты, их практическое внедрение часто затрудняется большими размерами моделей, зависимостью от дорогостоящих LiDAR-датчиков и вычислительно затратными представлениями признаков в виде сверху (BEV). Это ограничивает их масштабируемость, особенно для массовых автомобилей, оснащённых только камерами. Для решения этих проблем мы предлагаем PRIX (Plan from Raw Pixels). Наша новая и эффективная сквозная архитектура вождения работает исключительно на данных с камер, без явного представления BEV и необходимости в LiDAR. PRIX использует визуальный экстрактор признаков в сочетании с генеративной головой планирования для предсказания безопасных траекторий непосредственно из исходных пиксельных данных. Ключевым компонентом нашей архитектуры является Context-aware Recalibration Transformer (CaRT) — новый модуль, предназначенный для эффективного улучшения многоуровневых визуальных признаков для более устойчивого планирования. Мы демонстрируем в ходе всесторонних экспериментов, что PRIX достигает наилучших результатов на бенчмарках NavSim и nuScenes, соответствуя возможностям более крупных мультимодальных диффузионных планировщиков, при этом значительно превосходя их по скорости вывода и размеру модели, что делает его практичным решением для реального внедрения. Наша работа является открытой, и код будет доступен по адресу https://maxiuw.github.io/prix.

English

While end-to-end autonomous driving models show promising results, their practical deployment is often hindered by large model sizes, a reliance on expensive LiDAR sensors and computationally intensive BEV feature representations. This limits their scalability, especially for mass-market vehicles equipped only with cameras. To address these challenges, we propose PRIX (Plan from Raw Pixels). Our novel and efficient end-to-end driving architecture operates using only camera data, without explicit BEV representation and forgoing the need for LiDAR. PRIX leverages a visual feature extractor coupled with a generative planning head to predict safe trajectories from raw pixel inputs directly. A core component of our architecture is the Context-aware Recalibration Transformer (CaRT), a novel module designed to effectively enhance multi-level visual features for more robust planning. We demonstrate through comprehensive experiments that PRIX achieves state-of-the-art performance on the NavSim and nuScenes benchmarks, matching the capabilities of larger, multimodal diffusion planners while being significantly more efficient in terms of inference speed and model size, making it a practical solution for real-world deployment. Our work is open-source and the code will be at https://maxiuw.github.io/prix.