MotionSight: Verbetering van fijnmazig bewegingsbegrip in multimodale LLM's

MotionSight: Boosting Fine-Grained Motion Understanding in Multimodal LLMs

June 2, 2025

Auteurs: Yipeng Du, Tiehan Fan, Kepan Nan, Rui Xie, Penghao Zhou, Xiang Li, Jian Yang, Zhenheng Yang, Ying Tai

cs.AI

Samenvatting

Ondanks vooruitgang in Multimodale Grote Taalmodellen (MLLMs), blijft hun vaardigheid in het begrijpen van fijnmazige videobewegingen ernstig beperkt. Ze missen vaak inter-frame verschillen en hebben de neiging om subtiele visuele aanwijzingen te middelen of te negeren. Bovendien, hoewel visuele prompting potentieel heeft getoond bij statische afbeeldingen, blijft de toepassing ervan op de temporele complexiteiten van video, met name voor het begrijpen van fijnmazige bewegingen, grotendeels onontgonnen. Wij onderzoeken of de inherente mogelijkheden kunnen worden ontgrendeld om de bewegingperceptie van MLLMs te versterken en om onderscheidende visuele handtekeningen te creëren die zijn afgestemd op het ontkoppelen van object- en camerabewegingsaanwijzingen. In deze studie introduceren we MotionSight, een nieuwe zero-shot methode die als eerste objectgerichte visuele spotlight en motion blur gebruikt als visuele prompts om het begrijpen van fijnmazige bewegingen effectief te verbeteren zonder training. Om dit om te zetten in waardevolle data-assets, hebben we MotionVid-QA samengesteld, de eerste grootschalige dataset voor het begrijpen van fijnmazige videobewegingen, met hiërarchische annotaties inclusief SFT en voorkeursdata, {\Theta}(40K) videoclips en {\Theta}(87K) QAs. Experimenten tonen aan dat MotionSight state-of-the-art open-source prestaties bereikt en concurrerend is met commerciële modellen. In het bijzonder presenteren we voor het begrijpen van fijnmazige bewegingen een nieuwe zero-shot techniek en een grootschalige, hoogwaardige dataset. Alle code en annotaties zullen publiekelijk beschikbaar worden gesteld.

English

Despite advancements in Multimodal Large Language Models (MLLMs), their proficiency in fine-grained video motion understanding remains critically limited. They often lack inter-frame differencing and tend to average or ignore subtle visual cues. Furthermore, while visual prompting has shown potential in static images, its application to video's temporal complexities, particularly for fine-grained motion understanding, remains largely unexplored. We investigate whether inherent capability can be unlocked and boost MLLMs' motion perception and enable distinct visual signatures tailored to decouple object and camera motion cues. In this study, we introduce MotionSight, a novel zero-shot method pioneering object-centric visual spotlight and motion blur as visual prompts to effectively improve fine-grained motion understanding without training. To convert this into valuable data assets, we curated MotionVid-QA, the first large-scale dataset for fine-grained video motion understanding, with hierarchical annotations including SFT and preference data, {\Theta}(40K) video clips and {\Theta}(87K) QAs. Experiments show MotionSight achieves state-of-the-art open-source performance and competitiveness with commercial models. In particular, for fine-grained motion understanding we present a novel zero-shot technique and a large-scale, high-quality dataset. All the code and annotations will be publicly available.