Found-RL: reinforcement learning potenziato da modelli di fondazione per la guida autonoma

Abstract

L'apprendimento per rinforzo (RL) è emerso come un paradigma dominante per la guida autonoma end-to-end (AD). Tuttavia, il RL soffre di inefficienza campionaria e di una mancanza di interpretabilità semantica in scenari complessi. I Modelli di Fondazione (Foundation Models), in particolare i Modelli Visione-Linguaggio (VLM), possono mitigare questo problema offrendo conoscenze ricche e consapevoli del contesto, ma la loro elevata latenza di inferenza ostacola la distribuzione nei cicli di addestramento RL ad alta frequenza. Per colmare questa lacuna, presentiamo Found-RL, una piattaforma progettata per potenziare efficientemente il RL per la AD utilizzando modelli di fondazione. Un'innovazione fondamentale è il framework di inferenza asincrona in batch, che disaccoppia l'oneroso ragionamento dei VLM dal ciclo di simulazione, risolvendo efficacemente i colli di bottiglia della latenza per supportare l'apprendimento in tempo reale. Introduciamo meccanismi di supervisione diversificati: la Regolarizzazione del Margine del Valore (VMR) e la Guida all'Azione Ponderata per il Vantaggio (AWAG) per distillare efficacemente i suggerimenti di azione simili a quelli di un esperto forniti dai VLM nella politica di RL. Inoltre, adottiamo CLIP ad alta produttività per la modellazione di ricompense dense. Affrontiamo la cecità dinamica di CLIP tramite l'Allineamento Azione-Contrastivo Condizionale, che condiziona i prompt su velocità/comandi discretizzati e produce un bonus normalizzato, basato sul margine, dalla valutazione di ancoraggi azione specifici del contesto. Found-RL fornisce una pipeline end-to-end per l'integrazione di VLM messi a punto e dimostra che un modello RL leggero può raggiungere prestazioni vicine a quelle dei VLM con miliardi di parametri, mantenendo al contempo un'inferenza in tempo reale (circa 500 FPS). Codice, dati e modelli saranno pubblicamente disponibili su https://github.com/ys-qu/found-rl.

English

Reinforcement Learning (RL) has emerged as a dominant paradigm for end-to-end autonomous driving (AD). However, RL suffers from sample inefficiency and a lack of semantic interpretability in complex scenarios. Foundation Models, particularly Vision-Language Models (VLMs), can mitigate this by offering rich, context-aware knowledge, yet their high inference latency hinders deployment in high-frequency RL training loops. To bridge this gap, we present Found-RL, a platform tailored to efficiently enhance RL for AD using foundation models. A core innovation is the asynchronous batch inference framework, which decouples heavy VLM reasoning from the simulation loop, effectively resolving latency bottlenecks to support real-time learning. We introduce diverse supervision mechanisms: Value-Margin Regularization (VMR) and Advantage-Weighted Action Guidance (AWAG) to effectively distill expert-like VLM action suggestions into the RL policy. Additionally, we adopt high-throughput CLIP for dense reward shaping. We address CLIP's dynamic blindness via Conditional Contrastive Action Alignment, which conditions prompts on discretized speed/command and yields a normalized, margin-based bonus from context-specific action-anchor scoring. Found-RL provides an end-to-end pipeline for fine-tuned VLM integration and shows that a lightweight RL model can achieve near-VLM performance compared with billion-parameter VLMs while sustaining real-time inference (approx. 500 FPS). Code, data, and models will be publicly available at https://github.com/ys-qu/found-rl.

Found-RL: reinforcement learning potenziato da modelli di fondazione per la guida autonoma

Found-RL: foundation model-enhanced reinforcement learning for autonomous driving

Abstract

Support