실세계 모션 언어 모델을 위한 플러그 앤 플레이 2D 모션 인터페이스

초록

모션 언어 모델(MoLM)은 일반적으로 3D 모션을 토큰화하고 결과 토큰을 언어 모델로 처리하여 인간의 동작을 이해한다. 그러나 단안 비디오에서 정확한 3D 모션을 얻는 것은 어려워 실제 적용 가능성이 제한된다. 이 문제를 해결하기 위해, 우리는 원래 모델을 수정하거나 미세 조정하지 않고도 3D 사전 훈련된 MoLM이 2D 모션 입력을 받아들일 수 있게 하는 플러그 앤 플레이 2D 모션 인터페이스를 도입한다. 공개 데이터셋에 대한 실험에서 우리의 방법은 여러 MoLM에서 3D 모션 입력과 필적하는 성능을 달성하며, 2D 모션에 대해 MoLM을 처음부터 훈련하는 것보다 우수하다. 나아가 단안 실제 비디오 모션 평가 데이터셋을 구축하고 실제 비디오 어댑터를 도입하여, 평가된 단안 포즈 추정 설정에서 3D 모션보다 2D 모션의 유용성을 입증한다. 이러한 결과는 2D 모션이 실제 동작 이해 환경에서 MoLM을 배포하기 위한 실용적인 인터페이스를 제공함을 시사한다. 코드는 https://github.com/irajisamurai/2D-Motion-Interface에서 확인할 수 있다.

English

Motion Language Models (MoLMs) typically understand human motions by tokenizing 3D motion and processing the resulting tokens using a language model. However, obtaining accurate 3D motions from monocular videos is challenging, limiting their real-world applicability. To address this issue, we introduce a plug-and-play 2D Motion Interface that enables 3D-pretrained MoLMs to accept 2D motion inputs without modifying or fine-tuning the original models. Experiments on public datasets show that our method achieves performance comparable to 3D motion inputs across multiple MoLMs and outperforms training MoLMs from scratch on 2D motions. We further construct a monocular real-world video motion evaluation dataset and introduce a real-video adapter, demonstrating the usefulness of 2D motions over 3D motions under the evaluated monocular pose-estimation setting. These results suggest that 2D motion provides a practical interface for deploying MoLMs in real-world motion understanding settings. Code is available at https://github.com/irajisamurai/2D-Motion-Interface.