Оценка крупных языковых моделей для принятия решений в автономном вождении
Evaluation of Large Language Models for Decision Making in Autonomous Driving
December 11, 2023
Авторы: Kotaro Tanahashi, Yuichi Inoue, Yu Yamaguchi, Hidetatsu Yaginuma, Daiki Shiotsuka, Hiroyuki Shimatani, Kohei Iwamasa, Yoshiaki Inoue, Takafumi Yamaguchi, Koki Igari, Tsukasa Horinouchi, Kento Tokuhiro, Yugo Tokuchi, Shunsuke Aoki
cs.AI
Аннотация
Были предложены различные методы использования больших языковых моделей (LLM) в автономном вождении. Одна из стратегий применения LLM для автономного вождения заключается в передаче информации об окружающих объектах в виде текстовых запросов в LLM, включая их координаты и данные о скорости, с последующим выводом последующих движений транспортного средства. При использовании LLM для таких целей ключевыми являются такие способности, как пространственное распознавание и планирование. В частности, требуются две фундаментальные способности: (1) принятие решений с учетом пространственного контекста, то есть умение распознавать пространство на основе координатной информации и принимать решения для избежания столкновений, и (2) способность соблюдать правила дорожного движения. Однако количественные исследования того, насколько точно различные типы LLM могут справляться с этими задачами, не проводились. В данном исследовании мы количественно оценили эти две способности LLM в контексте автономного вождения. Кроме того, для проведения доказательства концепции (Proof of Concept, POC) возможности реализации этих способностей в реальных транспортных средствах, мы разработали систему, использующую LLM для управления автомобилем.
English
Various methods have been proposed for utilizing Large Language Models (LLMs)
in autonomous driving. One strategy of using LLMs for autonomous driving
involves inputting surrounding objects as text prompts to the LLMs, along with
their coordinate and velocity information, and then outputting the subsequent
movements of the vehicle. When using LLMs for such purposes, capabilities such
as spatial recognition and planning are essential. In particular, two
foundational capabilities are required: (1) spatial-aware decision making,
which is the ability to recognize space from coordinate information and make
decisions to avoid collisions, and (2) the ability to adhere to traffic rules.
However, quantitative research has not been conducted on how accurately
different types of LLMs can handle these problems. In this study, we
quantitatively evaluated these two abilities of LLMs in the context of
autonomous driving. Furthermore, to conduct a Proof of Concept (POC) for the
feasibility of implementing these abilities in actual vehicles, we developed a
system that uses LLMs to drive a vehicle.