Interagir, Instruire pour Améliorer : Un Cadre Parallèle Acteur-Raisonneur Piloté par LLM pour Renforcer les Interactions des Véhicules Autonomes

Interact, Instruct to Improve: A LLM-Driven Parallel Actor-Reasoner Framework for Enhancing Autonomous Vehicle Interactions

March 1, 2025

Auteurs: Shiyu Fang, Jiaqi Liu, Chengkai Xu, Chen Lv, Peng Hang, Jian Sun

cs.AI

Résumé

Les véhicules autonomes (AV) ont atteint le stade de commercialisation, mais leur capacité limitée à interagir et à exprimer des intentions continue de poser des défis dans les interactions avec les véhicules conduits par des humains (HV). Les récents progrès des grands modèles de langage (LLM) permettent une communication bidirectionnelle homme-machine, mais le conflit entre la lenteur de l'inférence et la nécessité d'une prise de décision en temps réel complique le déploiement pratique. Pour résoudre ces problèmes, cet article propose un cadre parallèle Acteur-Raisonneur conçu pour permettre des interactions bidirectionnelles explicites entre AV et HV dans divers scénarios. Tout d'abord, en facilitant les interactions entre le Raisonneur piloté par un LLM et des HV hétérogènes simulés pendant l'entraînement, une base de données de mémoire d'interaction, appelée l'Acteur, est établie. Ensuite, grâce à l'introduction du module de partition de mémoire et du module de récupération de mémoire à deux couches, la capacité de l'Acteur à gérer des HV hétérogènes est considérablement améliorée. Des études d'ablation et des comparaisons avec d'autres méthodes de prise de décision montrent que le cadre Acteur-Raisonneur proposé améliore significativement la sécurité et l'efficacité. Enfin, en combinant les informations de l'Interface Homme-Machine externe (eHMI) dérivées du raisonnement du Raisonneur et les solutions d'action réalisables récupérées par l'Acteur, l'efficacité du cadre Acteur-Raisonneur est confirmée dans des interactions de terrain multi-scénarios. Notre code est disponible à l'adresse https://github.com/FanGShiYuu/Actor-Reasoner.

English

Autonomous Vehicles (AVs) have entered the commercialization stage, but their limited ability to interact and express intentions still poses challenges in interactions with Human-driven Vehicles (HVs). Recent advances in large language models (LLMs) enable bidirectional human-machine communication, but the conflict between slow inference speed and the need for real-time decision-making challenges practical deployment. To address these issues, this paper introduces a parallel Actor-Reasoner framework designed to enable explicit bidirectional AV-HV interactions across multiple scenarios. First, by facilitating interactions between the LLM-driven Reasoner and heterogeneous simulated HVs during training, an interaction memory database, referred to as the Actor, is established. Then, by introducing the memory partition module and the two-layer memory retrieval module, the Actor's ability to handle heterogeneous HVs is significantly enhanced. Ablation studies and comparisons with other decision-making methods demonstrate that the proposed Actor-Reasoner framework significantly improves safety and efficiency. Finally, with the combination of the external Human-Machine Interface (eHMI) information derived from Reasoner's reasoning and the feasible action solutions retrieved from the Actor, the effectiveness of the proposed Actor-Reasoner is confirmed in multi-scenario field interactions. Our code is available at https://github.com/FanGShiYuu/Actor-Reasoner.