Evaluación de Modelos de Lenguaje de Gran Escala para la Toma de Decisiones en la Conducción Autónoma

Evaluation of Large Language Models for Decision Making in Autonomous Driving

December 11, 2023

Autores: Kotaro Tanahashi, Yuichi Inoue, Yu Yamaguchi, Hidetatsu Yaginuma, Daiki Shiotsuka, Hiroyuki Shimatani, Kohei Iwamasa, Yoshiaki Inoue, Takafumi Yamaguchi, Koki Igari, Tsukasa Horinouchi, Kento Tokuhiro, Yugo Tokuchi, Shunsuke Aoki

cs.AI

Resumen

Se han propuesto diversos métodos para utilizar Modelos de Lenguaje a Gran Escala (LLMs, por sus siglas en inglés) en la conducción autónoma. Una estrategia para emplear LLMs en este ámbito consiste en introducir los objetos circundantes como indicaciones de texto en los LLMs, junto con su información de coordenadas y velocidad, para luego generar los movimientos subsiguientes del vehículo. Al utilizar LLMs para estos fines, capacidades como el reconocimiento espacial y la planificación son esenciales. En particular, se requieren dos habilidades fundamentales: (1) la toma de decisiones consciente del espacio, que es la capacidad de reconocer el espacio a partir de la información de coordenadas y tomar decisiones para evitar colisiones, y (2) la capacidad de cumplir con las normas de tráfico. Sin embargo, no se ha realizado investigación cuantitativa sobre qué tan precisamente diferentes tipos de LLMs pueden manejar estos problemas. En este estudio, evaluamos cuantitativamente estas dos habilidades de los LLMs en el contexto de la conducción autónoma. Además, para llevar a cabo una Prueba de Concepto (POC, por sus siglas en inglés) sobre la viabilidad de implementar estas habilidades en vehículos reales, desarrollamos un sistema que utiliza LLMs para conducir un vehículo.

English

Various methods have been proposed for utilizing Large Language Models (LLMs) in autonomous driving. One strategy of using LLMs for autonomous driving involves inputting surrounding objects as text prompts to the LLMs, along with their coordinate and velocity information, and then outputting the subsequent movements of the vehicle. When using LLMs for such purposes, capabilities such as spatial recognition and planning are essential. In particular, two foundational capabilities are required: (1) spatial-aware decision making, which is the ability to recognize space from coordinate information and make decisions to avoid collisions, and (2) the ability to adhere to traffic rules. However, quantitative research has not been conducted on how accurately different types of LLMs can handle these problems. In this study, we quantitatively evaluated these two abilities of LLMs in the context of autonomous driving. Furthermore, to conduct a Proof of Concept (POC) for the feasibility of implementing these abilities in actual vehicles, we developed a system that uses LLMs to drive a vehicle.