インタラクト、指示して改善：自律走行車のインタラクションを強化するためのLLM駆動型並列アクター・リーズナーフレームワーク

Interact, Instruct to Improve: A LLM-Driven Parallel Actor-Reasoner Framework for Enhancing Autonomous Vehicle Interactions

March 1, 2025

著者: Shiyu Fang, Jiaqi Liu, Chengkai Xu, Chen Lv, Peng Hang, Jian Sun

cs.AI

要旨

自動運転車（AV）は商用化段階に入りましたが、人間が運転する車両（HV）との相互作用や意図の表明能力が限られているため、依然として課題が残っています。大規模言語モデル（LLM）の最近の進展により、双方向の人間と機械のコミュニケーションが可能になりましたが、推論速度の遅さとリアルタイム意思決定の必要性との矛盾が実用化の障壁となっています。これらの課題に対処するため、本論文では、複数のシナリオにおける明示的なAV-HV双方向相互作用を可能にする並列型Actor-Reasonerフレームワークを提案します。まず、LLM駆動のReasonerと異種のシミュレートされたHVとの相互作用を訓練中に促進することで、Actorと呼ばれる相互作用メモリデータベースを確立します。次に、メモリ分割モジュールと二層メモリ検索モジュールを導入することで、Actorの異種HV処理能力が大幅に向上します。アブレーションスタディや他の意思決定手法との比較により、提案されたActor-Reasonerフレームワークが安全性と効率性を大幅に向上させることが実証されています。最後に、Reasonerの推論から得られる外部ヒューマンマシンインターフェース（eHMI）情報とActorから検索された実行可能なアクションソリューションを組み合わせることで、提案されたActor-Reasonerの有効性が多シナリオフィールド相互作用で確認されました。私たちのコードはhttps://github.com/FanGShiYuu/Actor-Reasonerで公開されています。

English

Autonomous Vehicles (AVs) have entered the commercialization stage, but their limited ability to interact and express intentions still poses challenges in interactions with Human-driven Vehicles (HVs). Recent advances in large language models (LLMs) enable bidirectional human-machine communication, but the conflict between slow inference speed and the need for real-time decision-making challenges practical deployment. To address these issues, this paper introduces a parallel Actor-Reasoner framework designed to enable explicit bidirectional AV-HV interactions across multiple scenarios. First, by facilitating interactions between the LLM-driven Reasoner and heterogeneous simulated HVs during training, an interaction memory database, referred to as the Actor, is established. Then, by introducing the memory partition module and the two-layer memory retrieval module, the Actor's ability to handle heterogeneous HVs is significantly enhanced. Ablation studies and comparisons with other decision-making methods demonstrate that the proposed Actor-Reasoner framework significantly improves safety and efficiency. Finally, with the combination of the external Human-Machine Interface (eHMI) information derived from Reasoner's reasoning and the feasible action solutions retrieved from the Actor, the effectiveness of the proposed Actor-Reasoner is confirmed in multi-scenario field interactions. Our code is available at https://github.com/FanGShiYuu/Actor-Reasoner.