NuRisk: Un Dataset di Visual Question Answering per la Valutazione del Rischio a Livello di Agente nella Guida Autonoma

NuRisk: A Visual Question Answering Dataset for Agent-Level Risk Assessment in Autonomous Driving

September 30, 2025

Autori: Yuan Gao, Mattia Piccinini, Roberto Brusnicki, Yuchen Zhang, Johannes Betz

cs.AI

Abstract

Comprendere il rischio nella guida autonoma richiede non solo percezione e previsione, ma anche un ragionamento di alto livello sul comportamento degli agenti e sul contesto. I metodi attuali basati su Vision Language Models (VLMs) si concentrano principalmente su agenti in immagini statiche e forniscono giudizi qualitativi, mancando del ragionamento spazio-temporale necessario per catturare come i rischi si evolvono nel tempo. Per colmare questa lacuna, proponiamo NuRisk, un dataset completo di Visual Question Answering (VQA) che comprende 2.900 scenari e 1,1 milioni di campioni a livello di agente, costruito su dati reali provenienti da nuScenes e Waymo, integrati con scenari critici per la sicurezza dal simulatore CommonRoad. Il dataset fornisce immagini sequenziali basate su Bird-Eye-View (BEV) con annotazioni quantitative del rischio a livello di agente, abilitando il ragionamento spazio-temporale. Abbiamo testato VLMs noti utilizzando diverse tecniche di prompting e abbiamo riscontrato che non riescono a eseguire un ragionamento spazio-temporale esplicito, ottenendo un'accuratezza massima del 33% con un'elevata latenza. Per affrontare queste carenze, il nostro agente VLM da 7B, fine-tuned, migliora l'accuratezza al 41% e riduce la latenza del 75%, dimostrando capacità di ragionamento spazio-temporale esplicito che i modelli proprietari non possedevano. Sebbene questo rappresenti un significativo passo avanti, la modesta accuratezza sottolinea la profonda sfida del compito, stabilendo NuRisk come un benchmark critico per avanzare il ragionamento spazio-temporale nella guida autonoma.

English

Understanding risk in autonomous driving requires not only perception and prediction, but also high-level reasoning about agent behavior and context. Current Vision Language Models (VLMs)-based methods primarily ground agents in static images and provide qualitative judgments, lacking the spatio-temporal reasoning needed to capture how risks evolve over time. To address this gap, we propose NuRisk, a comprehensive Visual Question Answering (VQA) dataset comprising 2,900 scenarios and 1.1 million agent-level samples, built on real-world data from nuScenes and Waymo, supplemented with safety-critical scenarios from the CommonRoad simulator. The dataset provides Bird-Eye-View (BEV) based sequential images with quantitative, agent-level risk annotations, enabling spatio-temporal reasoning. We benchmark well-known VLMs across different prompting techniques and find that they fail to perform explicit spatio-temporal reasoning, resulting in a peak accuracy of 33% at high latency. To address these shortcomings, our fine-tuned 7B VLM agent improves accuracy to 41% and reduces latency by 75%, demonstrating explicit spatio-temporal reasoning capabilities that proprietary models lacked. While this represents a significant step forward, the modest accuracy underscores the profound challenge of the task, establishing NuRisk as a critical benchmark for advancing spatio-temporal reasoning in autonomous driving.