MotionSight: Potenziamento della Comprensione Fine-Grained del Movimento nei Modelli Multimodali di LLM

MotionSight: Boosting Fine-Grained Motion Understanding in Multimodal LLMs

June 2, 2025

Autori: Yipeng Du, Tiehan Fan, Kepan Nan, Rui Xie, Penghao Zhou, Xiang Li, Jian Yang, Zhenheng Yang, Ying Tai

cs.AI

Abstract

Nonostante i progressi nei Modelli Linguistici Multimodali di Grande Scala (MLLMs), la loro competenza nella comprensione fine del movimento nei video rimane fortemente limitata. Spesso mancano di differenziazione inter-fotogramma e tendono a mediare o ignorare segnali visivi sottili. Inoltre, sebbene il prompting visivo abbia mostrato potenziale nelle immagini statiche, la sua applicazione alle complessità temporali dei video, in particolare per la comprensione fine del movimento, rimane largamente inesplorata. Indaghiamo se sia possibile sbloccare capacità intrinseche e potenziare la percezione del movimento degli MLLMs, abilitando firme visive distinte progettate per separare i segnali di movimento dell'oggetto e della telecamera. In questo studio, introduciamo MotionSight, un nuovo metodo zero-shot che pionierizza l'uso di spotlight visivi centrati sull'oggetto e del motion blur come prompt visivi per migliorare efficacemente la comprensione fine del movimento senza addestramento. Per trasformare questo in risorse dati di valore, abbiamo curato MotionVid-QA, il primo dataset su larga scala per la comprensione fine del movimento nei video, con annotazioni gerarchiche che includono dati SFT e di preferenza, {\Theta}(40K) clip video e {\Theta}(87K) domande e risposte. Gli esperimenti mostrano che MotionSight raggiunge prestazioni all'avanguardia open-source e competitività con modelli commerciali. In particolare, per la comprensione fine del movimento, presentiamo una nuova tecnica zero-shot e un dataset su larga scala e di alta qualità. Tutto il codice e le annotazioni saranno pubblicamente disponibili.

English

Despite advancements in Multimodal Large Language Models (MLLMs), their proficiency in fine-grained video motion understanding remains critically limited. They often lack inter-frame differencing and tend to average or ignore subtle visual cues. Furthermore, while visual prompting has shown potential in static images, its application to video's temporal complexities, particularly for fine-grained motion understanding, remains largely unexplored. We investigate whether inherent capability can be unlocked and boost MLLMs' motion perception and enable distinct visual signatures tailored to decouple object and camera motion cues. In this study, we introduce MotionSight, a novel zero-shot method pioneering object-centric visual spotlight and motion blur as visual prompts to effectively improve fine-grained motion understanding without training. To convert this into valuable data assets, we curated MotionVid-QA, the first large-scale dataset for fine-grained video motion understanding, with hierarchical annotations including SFT and preference data, {\Theta}(40K) video clips and {\Theta}(87K) QAs. Experiments show MotionSight achieves state-of-the-art open-source performance and competitiveness with commercial models. In particular, for fine-grained motion understanding we present a novel zero-shot technique and a large-scale, high-quality dataset. All the code and annotations will be publicly available.