Interactuar, Instruir para Mejorar: Un Marco de Actor-Razonador Paralelo Impulsado por LLM para Mejorar las Interacciones de Vehículos Autónomos

Interact, Instruct to Improve: A LLM-Driven Parallel Actor-Reasoner Framework for Enhancing Autonomous Vehicle Interactions

March 1, 2025

Autores: Shiyu Fang, Jiaqi Liu, Chengkai Xu, Chen Lv, Peng Hang, Jian Sun

cs.AI

Resumen

Los vehículos autónomos (AV, por sus siglas en inglés) han alcanzado la etapa de comercialización, pero su capacidad limitada para interactuar y expresar intenciones sigue presentando desafíos en las interacciones con vehículos conducidos por humanos (HV, por sus siglas en inglés). Los avances recientes en los modelos de lenguaje de gran escala (LLM, por sus siglas en inglés) permiten la comunicación bidireccional entre humanos y máquinas, pero el conflicto entre la velocidad de inferencia lenta y la necesidad de toma de decisiones en tiempo real dificulta su implementación práctica. Para abordar estos problemas, este artículo introduce un marco paralelo Actor-Razonador diseñado para permitir interacciones bidireccionales explícitas entre AV y HV en múltiples escenarios. Primero, al facilitar interacciones entre el Razonador impulsado por LLM y HV simulados heterogéneos durante el entrenamiento, se establece una base de datos de memoria de interacción, denominada Actor. Luego, al introducir el módulo de partición de memoria y el módulo de recuperación de memoria de dos capas, se mejora significativamente la capacidad del Actor para manejar HV heterogéneos. Estudios de ablación y comparaciones con otros métodos de toma de decisiones demuestran que el marco Actor-Razonador propuesto mejora notablemente la seguridad y la eficiencia. Finalmente, con la combinación de la información de la Interfaz Humano-Máquina Externa (eHMI, por sus siglas en inglés) derivada del razonamiento del Razonador y las soluciones de acción factibles recuperadas del Actor, se confirma la efectividad del Actor-Razonador propuesto en interacciones de campo en múltiples escenarios. Nuestro código está disponible en https://github.com/FanGShiYuu/Actor-Reasoner.

English

Autonomous Vehicles (AVs) have entered the commercialization stage, but their limited ability to interact and express intentions still poses challenges in interactions with Human-driven Vehicles (HVs). Recent advances in large language models (LLMs) enable bidirectional human-machine communication, but the conflict between slow inference speed and the need for real-time decision-making challenges practical deployment. To address these issues, this paper introduces a parallel Actor-Reasoner framework designed to enable explicit bidirectional AV-HV interactions across multiple scenarios. First, by facilitating interactions between the LLM-driven Reasoner and heterogeneous simulated HVs during training, an interaction memory database, referred to as the Actor, is established. Then, by introducing the memory partition module and the two-layer memory retrieval module, the Actor's ability to handle heterogeneous HVs is significantly enhanced. Ablation studies and comparisons with other decision-making methods demonstrate that the proposed Actor-Reasoner framework significantly improves safety and efficiency. Finally, with the combination of the external Human-Machine Interface (eHMI) information derived from Reasoner's reasoning and the feasible action solutions retrieved from the Actor, the effectiveness of the proposed Actor-Reasoner is confirmed in multi-scenario field interactions. Our code is available at https://github.com/FanGShiYuu/Actor-Reasoner.