Interact, Instruct om te Verbeteren: Een LLM-Gestuurd Parallel Actor-Reasoner Framework voor het Verbeteren van Interacties van Autonome Voertuigen

Interact, Instruct to Improve: A LLM-Driven Parallel Actor-Reasoner Framework for Enhancing Autonomous Vehicle Interactions

March 1, 2025

Auteurs: Shiyu Fang, Jiaqi Liu, Chengkai Xu, Chen Lv, Peng Hang, Jian Sun

cs.AI

Samenvatting

Autonome Voertuigen (AV's) hebben het commercialisatiestadium bereikt, maar hun beperkte vermogen om te interacteren en intenties uit te drukken, blijft een uitdaging vormen in interacties met door mensen bestuurde voertuigen (HV's). Recente vooruitgang in grote taalmodellen (LLM's) maakt bidirectionele mens-machinecommunicatie mogelijk, maar het conflict tussen de trage inferentiesnelheid en de behoefte aan real-time besluitvorming vormt een uitdaging voor praktische implementatie. Om deze problemen aan te pakken, introduceert dit artikel een parallel Actor-Reasoner-framework dat is ontworpen om expliciete bidirectionele AV-HV-interacties in meerdere scenario's mogelijk te maken. Ten eerste wordt door het faciliteren van interacties tussen de LLM-gestuurde Reasoner en heterogene gesimuleerde HV's tijdens de training een interactiegeheugendatabase, aangeduid als de Actor, opgesteld. Vervolgens wordt door de introductie van de geheugenpartitiemodule en de tweelaagse geheugenretrievalmodule het vermogen van de Actor om met heterogene HV's om te gaan aanzienlijk verbeterd. Ablatiestudies en vergelijkingen met andere besluitvormingsmethoden tonen aan dat het voorgestelde Actor-Reasoner-framework de veiligheid en efficiëntie aanzienlijk verbetert. Ten slotte wordt, met de combinatie van de externe Mens-Machine-Interface (eHMI)-informatie afgeleid van de redenering van de Reasoner en de haalbare actieoplossingen opgehaald uit de Actor, de effectiviteit van de voorgestelde Actor-Reasoner bevestigd in veldinteracties met meerdere scenario's. Onze code is beschikbaar op https://github.com/FanGShiYuu/Actor-Reasoner.

English

Autonomous Vehicles (AVs) have entered the commercialization stage, but their limited ability to interact and express intentions still poses challenges in interactions with Human-driven Vehicles (HVs). Recent advances in large language models (LLMs) enable bidirectional human-machine communication, but the conflict between slow inference speed and the need for real-time decision-making challenges practical deployment. To address these issues, this paper introduces a parallel Actor-Reasoner framework designed to enable explicit bidirectional AV-HV interactions across multiple scenarios. First, by facilitating interactions between the LLM-driven Reasoner and heterogeneous simulated HVs during training, an interaction memory database, referred to as the Actor, is established. Then, by introducing the memory partition module and the two-layer memory retrieval module, the Actor's ability to handle heterogeneous HVs is significantly enhanced. Ablation studies and comparisons with other decision-making methods demonstrate that the proposed Actor-Reasoner framework significantly improves safety and efficiency. Finally, with the combination of the external Human-Machine Interface (eHMI) information derived from Reasoner's reasoning and the feasible action solutions retrieved from the Actor, the effectiveness of the proposed Actor-Reasoner is confirmed in multi-scenario field interactions. Our code is available at https://github.com/FanGShiYuu/Actor-Reasoner.