Interagir, Instruir para Melhorar: Um Framework Paralelo Ator-Raciocinador Baseado em LLM para Aprimorar Interações de Veículos Autônomos

Interact, Instruct to Improve: A LLM-Driven Parallel Actor-Reasoner Framework for Enhancing Autonomous Vehicle Interactions

March 1, 2025

Autores: Shiyu Fang, Jiaqi Liu, Chengkai Xu, Chen Lv, Peng Hang, Jian Sun

cs.AI

Resumo

Veículos Autônomos (AVs) entraram na fase de comercialização, mas sua capacidade limitada de interagir e expressar intenções ainda representa desafios nas interações com Veículos Dirigidos por Humanos (HVs). Avanços recentes em modelos de linguagem de grande escala (LLMs) permitem a comunicação bidirecional entre humanos e máquinas, mas o conflito entre a velocidade lenta de inferência e a necessidade de tomada de decisão em tempo real desafia a implantação prática. Para abordar essas questões, este artigo introduz uma estrutura paralela de Ator-Raciocinador projetada para permitir interações bidirecionais explícitas entre AVs e HVs em múltiplos cenários. Primeiro, ao facilitar interações entre o Raciocinador baseado em LLM e HVs heterogêneos simulados durante o treinamento, um banco de dados de memória de interação, denominado Ator, é estabelecido. Em seguida, ao introduzir o módulo de partição de memória e o módulo de recuperação de memória de duas camadas, a capacidade do Ator de lidar com HVs heterogêneos é significativamente aprimorada. Estudos de ablação e comparações com outros métodos de tomada de decisão demonstram que a estrutura proposta de Ator-Raciocinador melhora significativamente a segurança e a eficiência. Por fim, com a combinação das informações da Interface Homem-Máquina Externa (eHMI) derivadas do raciocínio do Raciocinador e das soluções de ação viáveis recuperadas do Ator, a eficácia do Ator-Raciocinador proposto é confirmada em interações de campo em múltiplos cenários. Nosso código está disponível em https://github.com/FanGShiYuu/Actor-Reasoner.

English

Autonomous Vehicles (AVs) have entered the commercialization stage, but their limited ability to interact and express intentions still poses challenges in interactions with Human-driven Vehicles (HVs). Recent advances in large language models (LLMs) enable bidirectional human-machine communication, but the conflict between slow inference speed and the need for real-time decision-making challenges practical deployment. To address these issues, this paper introduces a parallel Actor-Reasoner framework designed to enable explicit bidirectional AV-HV interactions across multiple scenarios. First, by facilitating interactions between the LLM-driven Reasoner and heterogeneous simulated HVs during training, an interaction memory database, referred to as the Actor, is established. Then, by introducing the memory partition module and the two-layer memory retrieval module, the Actor's ability to handle heterogeneous HVs is significantly enhanced. Ablation studies and comparisons with other decision-making methods demonstrate that the proposed Actor-Reasoner framework significantly improves safety and efficiency. Finally, with the combination of the external Human-Machine Interface (eHMI) information derived from Reasoner's reasoning and the feasible action solutions retrieved from the Actor, the effectiveness of the proposed Actor-Reasoner is confirmed in multi-scenario field interactions. Our code is available at https://github.com/FanGShiYuu/Actor-Reasoner.