Interagisci, Istruisci per Migliorare: Un Framework Parallelo Attore-Ragionatore Guidato da LLM per Potenziare le Interazioni dei Veicoli Autonomi

Interact, Instruct to Improve: A LLM-Driven Parallel Actor-Reasoner Framework for Enhancing Autonomous Vehicle Interactions

March 1, 2025

Autori: Shiyu Fang, Jiaqi Liu, Chengkai Xu, Chen Lv, Peng Hang, Jian Sun

cs.AI

Abstract

I veicoli autonomi (AV) hanno raggiunto la fase di commercializzazione, ma la loro capacità limitata di interagire ed esprimere intenzioni continua a rappresentare una sfida nelle interazioni con i veicoli guidati da esseri umani (HV). I recenti progressi nei modelli linguistici di grandi dimensioni (LLM) consentono una comunicazione bidirezionale uomo-macchina, ma il conflitto tra la lentezza dell'inferenza e la necessità di decisioni in tempo reale ostacola l'implementazione pratica. Per affrontare questi problemi, questo articolo introduce un framework parallelo Attore-Ragionatore progettato per abilitare interazioni bidirezionali esplicite AV-HV in molteplici scenari. In primo luogo, facilitando le interazioni tra il Ragionatore guidato da LLM e HV eterogenei simulati durante l'addestramento, viene stabilito un database di memoria delle interazioni, denominato Attore. Successivamente, introducendo il modulo di partizionamento della memoria e il modulo di recupero della memoria a due livelli, la capacità dell'Attore di gestire HV eterogenei viene significativamente migliorata. Studi di ablazione e confronti con altri metodi decisionali dimostrano che il framework Attore-Ragionatore proposto migliora notevolmente la sicurezza e l'efficienza. Infine, combinando le informazioni dell'interfaccia uomo-macchina esterna (eHMI) derivate dal ragionamento del Ragionatore e le soluzioni di azione fattibili recuperate dall'Attore, l'efficacia del framework Attore-Ragioneratore proposto viene confermata nelle interazioni sul campo in scenari multipli. Il nostro codice è disponibile all'indirizzo https://github.com/FanGShiYuu/Actor-Reasoner.

English

Autonomous Vehicles (AVs) have entered the commercialization stage, but their limited ability to interact and express intentions still poses challenges in interactions with Human-driven Vehicles (HVs). Recent advances in large language models (LLMs) enable bidirectional human-machine communication, but the conflict between slow inference speed and the need for real-time decision-making challenges practical deployment. To address these issues, this paper introduces a parallel Actor-Reasoner framework designed to enable explicit bidirectional AV-HV interactions across multiple scenarios. First, by facilitating interactions between the LLM-driven Reasoner and heterogeneous simulated HVs during training, an interaction memory database, referred to as the Actor, is established. Then, by introducing the memory partition module and the two-layer memory retrieval module, the Actor's ability to handle heterogeneous HVs is significantly enhanced. Ablation studies and comparisons with other decision-making methods demonstrate that the proposed Actor-Reasoner framework significantly improves safety and efficiency. Finally, with the combination of the external Human-Machine Interface (eHMI) information derived from Reasoner's reasoning and the feasible action solutions retrieved from the Actor, the effectiveness of the proposed Actor-Reasoner is confirmed in multi-scenario field interactions. Our code is available at https://github.com/FanGShiYuu/Actor-Reasoner.