자율 주행 의사결정을 위한 대규모 언어 모델 평가

초록

자율주행에서 대형 언어 모델(LLMs)을 활용하기 위한 다양한 방법들이 제안되어 왔다. 자율주행을 위해 LLMs를 사용하는 한 가지 전략은 주변 물체들을 텍스트 프롬프트로 입력하고, 이들의 좌표 및 속도 정보와 함께 차량의 후속 움직임을 출력하는 것이다. 이러한 목적으로 LLMs를 사용할 때는 공간 인식 및 계획 수립과 같은 능력이 필수적이다. 특히, 두 가지 기본 능력이 요구된다: (1) 공간 인식 의사결정 능력, 즉 좌표 정보로부터 공간을 인식하고 충돌을 피하기 위한 결정을 내리는 능력, 그리고 (2) 교통 규칙을 준수하는 능력이다. 그러나 다양한 유형의 LLMs가 이러한 문제를 얼마나 정확하게 처리할 수 있는지에 대한 정량적 연구는 이루어지지 않았다. 본 연구에서는 자율주행 맥락에서 LLMs의 이 두 가지 능력을 정량적으로 평가하였다. 또한, 이러한 능력을 실제 차량에 구현할 수 있는 가능성을 검증하기 위한 개념 증명(POC)을 수행하기 위해, LLMs를 사용하여 차량을 주행하는 시스템을 개발하였다.

English

Various methods have been proposed for utilizing Large Language Models (LLMs) in autonomous driving. One strategy of using LLMs for autonomous driving involves inputting surrounding objects as text prompts to the LLMs, along with their coordinate and velocity information, and then outputting the subsequent movements of the vehicle. When using LLMs for such purposes, capabilities such as spatial recognition and planning are essential. In particular, two foundational capabilities are required: (1) spatial-aware decision making, which is the ability to recognize space from coordinate information and make decisions to avoid collisions, and (2) the ability to adhere to traffic rules. However, quantitative research has not been conducted on how accurately different types of LLMs can handle these problems. In this study, we quantitatively evaluated these two abilities of LLMs in the context of autonomous driving. Furthermore, to conduct a Proof of Concept (POC) for the feasibility of implementing these abilities in actual vehicles, we developed a system that uses LLMs to drive a vehicle.

자율 주행 의사결정을 위한 대규모 언어 모델 평가

Evaluation of Large Language Models for Decision Making in Autonomous Driving

초록

Support