MotionDiffuser: 확산 모델을 활용한 제어 가능한 다중 에이전트 모션 예측

초록

우리는 다중 에이전트에 대한 미래 궤적의 결합 분포를 표현하는 확산 기반 표현인 MotionDiffuser를 제안합니다. 이러한 표현은 몇 가지 주요 장점을 가지고 있습니다: 첫째, 우리 모델은 다양한 미래 결과를 포착하는 고도로 다중 모드 분포를 학습합니다. 둘째, 간단한 예측기 설계는 단일 L2 손실 훈련 목표만 필요로 하며, 궤적 앵커에 의존하지 않습니다. 셋째, 우리 모델은 순열 불변 방식으로 다중 에이전트의 움직임에 대한 결합 분포를 학습할 수 있습니다. 또한, PCA를 통한 압축된 궤적 표현을 활용하여 모델 성능을 향상시키고 정확한 샘플 로그 확률의 효율적인 계산을 가능하게 합니다. 이어서, 우리는 미분 가능한 비용 함수를 기반으로 제어된 궤적 샘플링을 가능하게 하는 일반적인 제약 샘플링 프레임워크를 제안합니다. 이 전략은 규칙과 물리적 사전 지식을 강제하거나 맞춤형 시뮬레이션 시나리오를 생성하는 등 다양한 응용을 가능하게 합니다. MotionDiffuser는 기존 백본 아키텍처와 결합되어 최고 수준의 움직임 예측 결과를 달성할 수 있습니다. 우리는 Waymo Open Motion Dataset에서 다중 에이전트 움직임 예측에 대해 최첨단 결과를 얻었습니다.

English

We present MotionDiffuser, a diffusion based representation for the joint distribution of future trajectories over multiple agents. Such representation has several key advantages: first, our model learns a highly multimodal distribution that captures diverse future outcomes. Second, the simple predictor design requires only a single L2 loss training objective, and does not depend on trajectory anchors. Third, our model is capable of learning the joint distribution for the motion of multiple agents in a permutation-invariant manner. Furthermore, we utilize a compressed trajectory representation via PCA, which improves model performance and allows for efficient computation of the exact sample log probability. Subsequently, we propose a general constrained sampling framework that enables controlled trajectory sampling based on differentiable cost functions. This strategy enables a host of applications such as enforcing rules and physical priors, or creating tailored simulation scenarios. MotionDiffuser can be combined with existing backbone architectures to achieve top motion forecasting results. We obtain state-of-the-art results for multi-agent motion prediction on the Waymo Open Motion Dataset.

MotionDiffuser: 확산 모델을 활용한 제어 가능한 다중 에이전트 모션 예측

MotionDiffuser: Controllable Multi-Agent Motion Prediction using Diffusion

초록

Support