MotionSight: マルチモーダルLLMにおける細粒度の動作理解を強化する
MotionSight: Boosting Fine-Grained Motion Understanding in Multimodal LLMs
June 2, 2025
著者: Yipeng Du, Tiehan Fan, Kepan Nan, Rui Xie, Penghao Zhou, Xiang Li, Jian Yang, Zhenheng Yang, Ying Tai
cs.AI
要旨
マルチモーダル大規模言語モデル（MLLMs）の進展にもかかわらず、細粒度の映像モーション理解におけるその能力は依然として重大な制限を受けています。これらのモデルは、フレーム間の差分を捉えることができず、微妙な視覚的キューを平均化したり無視したりする傾向があります。さらに、視覚的プロンプティングが静止画像において潜在的な可能性を示している一方で、映像の時間的複雑性、特に細粒度のモーション理解への応用はほとんど未開拓のままです。本研究では、内在的な能力を引き出し、MLLMsのモーション知覚を向上させ、物体とカメラのモーションキューを分離するための独自の視覚的シグネチャを可能にすることができるかどうかを調査します。本研究では、MotionSightを紹介します。これは、物体中心の視覚的スポットライトとモーションブラーを視覚的プロンプトとして活用し、トレーニングなしで細粒度のモーション理解を効果的に改善する新しいゼロショット手法です。これを貴重なデータ資産に変換するために、MotionVid-QAをキュレーションしました。これは、SFTと選好データを含む階層的なアノテーション、Θ(40K)の映像クリップ、およびΘ(87K)のQAを備えた、細粒度の映像モーション理解のための初の大規模データセットです。実験結果は、MotionSightがオープンソースの最先端の性能を達成し、商用モデルと競争力があることを示しています。特に、細粒度のモーション理解において、新しいゼロショット技術と大規模で高品質なデータセットを提示します。すべてのコードとアノテーションは公開されます。
English
Despite advancements in Multimodal Large Language Models (MLLMs), their
proficiency in fine-grained video motion understanding remains critically
limited. They often lack inter-frame differencing and tend to average or ignore
subtle visual cues. Furthermore, while visual prompting has shown potential in
static images, its application to video's temporal complexities, particularly
for fine-grained motion understanding, remains largely unexplored. We
investigate whether inherent capability can be unlocked and boost MLLMs' motion
perception and enable distinct visual signatures tailored to decouple object
and camera motion cues. In this study, we introduce MotionSight, a novel
zero-shot method pioneering object-centric visual spotlight and motion blur as
visual prompts to effectively improve fine-grained motion understanding without
training. To convert this into valuable data assets, we curated MotionVid-QA,
the first large-scale dataset for fine-grained video motion understanding, with
hierarchical annotations including SFT and preference data, {\Theta}(40K) video
clips and {\Theta}(87K) QAs. Experiments show MotionSight achieves
state-of-the-art open-source performance and competitiveness with commercial
models. In particular, for fine-grained motion understanding we present a novel
zero-shot technique and a large-scale, high-quality dataset. All the code and
annotations will be publicly available.