実世界モーション言語モデルのためのプラグアンドプレイ2次元動作インターフェース

要旨

モーション言語モデル（MoLM）は通常、3Dモーションをトークン化し、得られたトークンを言語モデルで処理することによって人間の動作を理解する。しかしながら、単眼ビデオから正確な3Dモーションを取得することは困難であり、その実世界での応用可能性を制限している。この問題に対処するため、我々は、元のモデルを変更したりファインチューニングしたりすることなく、3Dで事前学習されたMoLMが2Dモーション入力を受け付けられるようにする、プラグアンドプレイの2Dモーションインターフェースを導入する。公開データセットでの実験により、我々の手法が複数のMoLMにわたって3Dモーション入力と同等の性能を達成し、2DモーションでMoLMをゼロから学習する手法を上回ることが示された。さらに、我々は単眼の実世界ビデオ動作評価データセットを構築し、実ビデオアダプタを導入して、評価した単眼姿勢推定設定の下で3Dモーションに対する2Dモーションの有用性を示す。これらの結果は、2Dモーションが実世界の動作理解設定においてMoLMを展開するための実用的なインターフェースを提供することを示唆している。コードは https://github.com/irajisamurai/2D-Motion-Interface で入手できる。

English

Motion Language Models (MoLMs) typically understand human motions by tokenizing 3D motion and processing the resulting tokens using a language model. However, obtaining accurate 3D motions from monocular videos is challenging, limiting their real-world applicability. To address this issue, we introduce a plug-and-play 2D Motion Interface that enables 3D-pretrained MoLMs to accept 2D motion inputs without modifying or fine-tuning the original models. Experiments on public datasets show that our method achieves performance comparable to 3D motion inputs across multiple MoLMs and outperforms training MoLMs from scratch on 2D motions. We further construct a monocular real-world video motion evaluation dataset and introduce a real-video adapter, demonstrating the usefulness of 2D motions over 3D motions under the evaluated monocular pose-estimation setting. These results suggest that 2D motion provides a practical interface for deploying MoLMs in real-world motion understanding settings. Code is available at https://github.com/irajisamurai/2D-Motion-Interface.