Interagieren, Anweisen, Verbessern: Ein LLM-gestütztes paralleles Akteur-Denker-Framework zur Verbesserung autonomer Fahrzeuginteraktionen

Interact, Instruct to Improve: A LLM-Driven Parallel Actor-Reasoner Framework for Enhancing Autonomous Vehicle Interactions

March 1, 2025

papers.authors: Shiyu Fang, Jiaqi Liu, Chengkai Xu, Chen Lv, Peng Hang, Jian Sun

cs.AI

papers.abstract

Autonome Fahrzeuge (AVs) haben die Kommerzialisierungsphase erreicht, doch ihre begrenzte Fähigkeit zur Interaktion und Absichtsäußerung stellt nach wie vor Herausforderungen in der Interaktion mit menschlich gesteuerten Fahrzeugen (HVs) dar. Jüngste Fortschritte bei großen Sprachmodellen (LLMs) ermöglichen eine bidirektionale Mensch-Maschine-Kommunikation, doch der Konflikt zwischen langsamer Inferenzgeschwindigkeit und der Notwendigkeit von Echtzeit-Entscheidungsfindung erschwert den praktischen Einsatz. Um diese Probleme zu lösen, stellt dieses Papier ein paralleles Actor-Reasoner-Framework vor, das explizite bidirektionale AV-HV-Interaktionen in mehreren Szenarien ermöglichen soll. Zunächst wird durch die Förderung von Interaktionen zwischen dem LLM-gesteuerten Reasoner und heterogenen simulierten HVs während des Trainings eine Interaktionsspeicherdatenbank, der sogenannte Actor, etabliert. Anschließend wird durch die Einführung des Speicherpartitionierungsmoduls und des zweischichtigen Speicherabrufmoduls die Fähigkeit des Actors, mit heterogenen HVs umzugehen, deutlich verbessert. Ablationsstudien und Vergleiche mit anderen Entscheidungsmethoden zeigen, dass das vorgeschlagene Actor-Reasoner-Framework die Sicherheit und Effizienz erheblich steigert. Schließlich wird durch die Kombination der externen Mensch-Maschine-Schnittstelleninformationen (eHMI), die aus der Argumentation des Reasoners abgeleitet werden, und der aus dem Actor abgerufenen praktikablen Aktionslösungen die Wirksamkeit des vorgeschlagenen Actor-Reasoners in mehrszenarischen Feldinteraktionen bestätigt. Unser Code ist verfügbar unter https://github.com/FanGShiYuu/Actor-Reasoner.

English

Autonomous Vehicles (AVs) have entered the commercialization stage, but their limited ability to interact and express intentions still poses challenges in interactions with Human-driven Vehicles (HVs). Recent advances in large language models (LLMs) enable bidirectional human-machine communication, but the conflict between slow inference speed and the need for real-time decision-making challenges practical deployment. To address these issues, this paper introduces a parallel Actor-Reasoner framework designed to enable explicit bidirectional AV-HV interactions across multiple scenarios. First, by facilitating interactions between the LLM-driven Reasoner and heterogeneous simulated HVs during training, an interaction memory database, referred to as the Actor, is established. Then, by introducing the memory partition module and the two-layer memory retrieval module, the Actor's ability to handle heterogeneous HVs is significantly enhanced. Ablation studies and comparisons with other decision-making methods demonstrate that the proposed Actor-Reasoner framework significantly improves safety and efficiency. Finally, with the combination of the external Human-Machine Interface (eHMI) information derived from Reasoner's reasoning and the feasible action solutions retrieved from the Actor, the effectiveness of the proposed Actor-Reasoner is confirmed in multi-scenario field interactions. Our code is available at https://github.com/FanGShiYuu/Actor-Reasoner.