상호작용, 지시, 개선: 자율주행차 상호작용 강화를 위한 LLM 기반 병렬 행위자-추론자 프레임워크

Interact, Instruct to Improve: A LLM-Driven Parallel Actor-Reasoner Framework for Enhancing Autonomous Vehicle Interactions

March 1, 2025

저자: Shiyu Fang, Jiaqi Liu, Chengkai Xu, Chen Lv, Peng Hang, Jian Sun

cs.AI

초록

자율주행차량(AVs)은 상용화 단계에 진입했지만, 여전히 인간 운전 차량(HVs)과의 상호작용 및 의도 표현 능력의 한계로 인해 과제가 남아 있습니다. 최근 대형 언어 모델(LLMs)의 발전으로 양방향 인간-기계 커뮤니케이션이 가능해졌지만, 느린 추론 속도와 실시간 의사결정 필요성 간의 충돌로 인해 실제 배포에는 어려움이 있습니다. 이러한 문제를 해결하기 위해, 본 논문은 다중 시나리오에서 명시적인 양방향 AV-HV 상호작용을 가능하게 하는 병렬 Actor-Reasoner 프레임워크를 소개합니다. 먼저, 훈련 과정에서 LLM 기반 Reasoner와 다양한 시뮬레이션 HVs 간의 상호작용을 촉진함으로써 Actor라고 불리는 상호작용 메모리 데이터베이스를 구축합니다. 그런 다음, 메모리 분할 모듈과 이중 계층 메모리 검색 모듈을 도입하여 Actor의 다양한 HVs 처리 능력을 크게 향상시킵니다. 다른 의사결정 방법과의 비교 및 제거 연구를 통해 제안된 Actor-Reasoner 프레임워크가 안전성과 효율성을 크게 개선함을 입증합니다. 마지막으로, Reasoner의 추론에서 도출된 외부 인간-기계 인터페이스(eHMI) 정보와 Actor에서 검색된 실행 가능한 행동 솔루션을 결합하여, 다중 시나리오 현장 상호작용에서 제안된 Actor-Reasoner의 효과를 확인합니다. 우리의 코드는 https://github.com/FanGShiYuu/Actor-Reasoner에서 확인할 수 있습니다.

English

Autonomous Vehicles (AVs) have entered the commercialization stage, but their limited ability to interact and express intentions still poses challenges in interactions with Human-driven Vehicles (HVs). Recent advances in large language models (LLMs) enable bidirectional human-machine communication, but the conflict between slow inference speed and the need for real-time decision-making challenges practical deployment. To address these issues, this paper introduces a parallel Actor-Reasoner framework designed to enable explicit bidirectional AV-HV interactions across multiple scenarios. First, by facilitating interactions between the LLM-driven Reasoner and heterogeneous simulated HVs during training, an interaction memory database, referred to as the Actor, is established. Then, by introducing the memory partition module and the two-layer memory retrieval module, the Actor's ability to handle heterogeneous HVs is significantly enhanced. Ablation studies and comparisons with other decision-making methods demonstrate that the proposed Actor-Reasoner framework significantly improves safety and efficiency. Finally, with the combination of the external Human-Machine Interface (eHMI) information derived from Reasoner's reasoning and the feasible action solutions retrieved from the Actor, the effectiveness of the proposed Actor-Reasoner is confirmed in multi-scenario field interactions. Our code is available at https://github.com/FanGShiYuu/Actor-Reasoner.