MotionSight : Amélioration de la compréhension fine du mouvement dans les modèles de langage multimodaux

MotionSight: Boosting Fine-Grained Motion Understanding in Multimodal LLMs

June 2, 2025

papers.authors: Yipeng Du, Tiehan Fan, Kepan Nan, Rui Xie, Penghao Zhou, Xiang Li, Jian Yang, Zhenheng Yang, Ying Tai

cs.AI

papers.abstract

Malgré les avancées des Modèles de Langage Multimodaux à Grande Échelle (MLLMs), leur compétence dans la compréhension fine des mouvements vidéo reste fortement limitée. Ils manquent souvent de différenciation inter-images et ont tendance à moyenner ou ignorer les indices visuels subtils. De plus, bien que l'incitation visuelle ait montré un potentiel pour les images statiques, son application aux complexités temporelles des vidéos, en particulier pour la compréhension fine des mouvements, reste largement inexplorée. Nous étudions si une capacité intrinsèque peut être débloquée pour améliorer la perception des mouvements des MLLMs et permettre des signatures visuelles distinctes adaptées pour découpler les indices de mouvement des objets et de la caméra. Dans cette étude, nous introduisons MotionSight, une nouvelle méthode zero-shot qui innove en utilisant un projecteur visuel centré sur les objets et un flou de mouvement comme incitations visuelles pour améliorer efficacement la compréhension fine des mouvements sans entraînement. Pour transformer cela en actifs de données précieux, nous avons constitué MotionVid-QA, le premier jeu de données à grande échelle pour la compréhension fine des mouvements vidéo, avec des annotations hiérarchiques incluant des données SFT et de préférence, {\Theta}(40K) clips vidéo et {\Theta}(87K) QAs. Les expériences montrent que MotionSight atteint des performances de pointe open-source et une compétitivité avec les modèles commerciaux. En particulier, pour la compréhension fine des mouvements, nous présentons une technique zero-shot innovante et un jeu de données à grande échelle et de haute qualité. Tous les codes et annotations seront rendus publics.

English

Despite advancements in Multimodal Large Language Models (MLLMs), their proficiency in fine-grained video motion understanding remains critically limited. They often lack inter-frame differencing and tend to average or ignore subtle visual cues. Furthermore, while visual prompting has shown potential in static images, its application to video's temporal complexities, particularly for fine-grained motion understanding, remains largely unexplored. We investigate whether inherent capability can be unlocked and boost MLLMs' motion perception and enable distinct visual signatures tailored to decouple object and camera motion cues. In this study, we introduce MotionSight, a novel zero-shot method pioneering object-centric visual spotlight and motion blur as visual prompts to effectively improve fine-grained motion understanding without training. To convert this into valuable data assets, we curated MotionVid-QA, the first large-scale dataset for fine-grained video motion understanding, with hierarchical annotations including SFT and preference data, {\Theta}(40K) video clips and {\Theta}(87K) QAs. Experiments show MotionSight achieves state-of-the-art open-source performance and competitiveness with commercial models. In particular, for fine-grained motion understanding we present a novel zero-shot technique and a large-scale, high-quality dataset. All the code and annotations will be publicly available.