Conduciendo en todas partes con adaptación de políticas de modelos de lenguaje grande

Driving Everywhere with Large Language Model Policy Adaptation

February 8, 2024

Autores: Boyi Li, Yue Wang, Jiageng Mao, Boris Ivanovic, Sushant Veer, Karen Leung, Marco Pavone

cs.AI

Resumen

Adaptar el comportamiento de conducción a nuevos entornos, costumbres y leyes es un problema de larga data en la conducción autónoma, lo que impide el despliegue generalizado de vehículos autónomos (AVs). En este artículo, presentamos LLaDA, una herramienta simple pero poderosa que permite tanto a conductores humanos como a vehículos autónomos conducir en cualquier lugar adaptando sus tareas y planes de movimiento a las normas de tráfico en nuevas ubicaciones. LLaDA logra esto aprovechando la impresionante capacidad de generalización en cero-shot de los modelos de lenguaje grandes (LLMs) para interpretar las normas de tráfico en el manual del conductor local. A través de un extenso estudio de usuarios, demostramos que las instrucciones de LLaDA son útiles para desambiguar situaciones inesperadas en el mundo real. También mostramos la capacidad de LLaDA para adaptar las políticas de planificación de movimiento de AVs en conjuntos de datos del mundo real; LLaDA supera los enfoques de planificación de referencia en todas nuestras métricas. Consulte nuestro sitio web para más detalles: https://boyiliee.github.io/llada.

English

Adapting driving behavior to new environments, customs, and laws is a long-standing problem in autonomous driving, precluding the widespread deployment of autonomous vehicles (AVs). In this paper, we present LLaDA, a simple yet powerful tool that enables human drivers and autonomous vehicles alike to drive everywhere by adapting their tasks and motion plans to traffic rules in new locations. LLaDA achieves this by leveraging the impressive zero-shot generalizability of large language models (LLMs) in interpreting the traffic rules in the local driver handbook. Through an extensive user study, we show that LLaDA's instructions are useful in disambiguating in-the-wild unexpected situations. We also demonstrate LLaDA's ability to adapt AV motion planning policies in real-world datasets; LLaDA outperforms baseline planning approaches on all our metrics. Please check our website for more details: https://boyiliee.github.io/llada.