언어 조건 기반 교통 시뮬레이션 생성

초록

시뮬레이션은 현대 자율주행 개발의 핵심을 이루고 있습니다. 시뮬레이터는 인간, 차량 또는 주변 환경을 위험에 빠뜨리지 않으면서 운전 시스템을 개발, 테스트 및 개선하는 데 도움을 줍니다. 그러나 시뮬레이터는 주요한 과제에 직면해 있습니다: 현실적이고 확장 가능하며 흥미로운 콘텐츠에 의존해야 한다는 점입니다. 최근 렌더링 및 장면 재구성 기술의 발전으로 정적 장면 자산을 만드는 데 큰 진전이 있었지만, 그들의 배치, 역학 및 행동을 모델링하는 것은 여전히 어려운 과제로 남아 있습니다. 본 연구에서는 동적 교통 장면 생성을 위한 감독 소스로 언어를 활용합니다. 우리의 모델인 LCTGen은 대규모 언어 모델과 트랜스포머 기반 디코더 아키텍처를 결합하여 지도 데이터셋에서 가능성이 높은 위치를 선택하고 초기 교통 분포와 각 차량의 역학을 생성합니다. LCTGen은 무조건적 및 조건부 교통 장면 생성에서 현실성과 충실도 측면에서 기존 연구를 능가합니다. 코드와 비디오는 https://ariostgx.github.io/lctgen에서 확인할 수 있습니다.

English

Simulation forms the backbone of modern self-driving development. Simulators help develop, test, and improve driving systems without putting humans, vehicles, or their environment at risk. However, simulators face a major challenge: They rely on realistic, scalable, yet interesting content. While recent advances in rendering and scene reconstruction make great strides in creating static scene assets, modeling their layout, dynamics, and behaviors remains challenging. In this work, we turn to language as a source of supervision for dynamic traffic scene generation. Our model, LCTGen, combines a large language model with a transformer-based decoder architecture that selects likely map locations from a dataset of maps, and produces an initial traffic distribution, as well as the dynamics of each vehicle. LCTGen outperforms prior work in both unconditional and conditional traffic scene generation in terms of realism and fidelity. Code and video will be available at https://ariostgx.github.io/lctgen.

언어 조건 기반 교통 시뮬레이션 생성

Language Conditioned Traffic Generation

초록

Support