MotionSight: Potenciando la Comprensión de Movimientos de Granularidad Fina en Modelos de Lenguaje Multimodales

MotionSight: Boosting Fine-Grained Motion Understanding in Multimodal LLMs

June 2, 2025

Autores: Yipeng Du, Tiehan Fan, Kepan Nan, Rui Xie, Penghao Zhou, Xiang Li, Jian Yang, Zhenheng Yang, Ying Tai

cs.AI

Resumen

A pesar de los avances en los Modelos de Lenguaje Multimodales de Gran Escala (MLLMs, por sus siglas en inglés), su competencia en la comprensión detallada del movimiento en videos sigue siendo críticamente limitada. A menudo carecen de diferenciación entre fotogramas y tienden a promediar o ignorar señales visuales sutiles. Además, aunque el prompting visual ha mostrado potencial en imágenes estáticas, su aplicación a las complejidades temporales de los videos, particularmente para la comprensión detallada del movimiento, sigue siendo en gran medida inexplorada. Investigamos si es posible desbloquear capacidades inherentes para mejorar la percepción del movimiento en los MLLMs y permitir firmas visuales distintivas diseñadas para desacoplar las señales de movimiento de objetos y de la cámara. En este estudio, presentamos MotionSight, un método novedoso de zero-shot que introduce el enfoque visual centrado en objetos y el desenfoque de movimiento como prompts visuales para mejorar efectivamente la comprensión detallada del movimiento sin necesidad de entrenamiento. Para convertir esto en activos de datos valiosos, hemos creado MotionVid-QA, el primer conjunto de datos a gran escala para la comprensión detallada del movimiento en videos, con anotaciones jerárquicas que incluyen datos de SFT y de preferencia, {\Theta}(40K) clips de video y {\Theta}(87K) preguntas y respuestas. Los experimentos muestran que MotionSight alcanza un rendimiento de código abierto de vanguardia y compite con modelos comerciales. En particular, para la comprensión detallada del movimiento, presentamos una técnica novedosa de zero-shot y un conjunto de datos a gran escala y de alta calidad. Todo el código y las anotaciones estarán disponibles públicamente.

English

Despite advancements in Multimodal Large Language Models (MLLMs), their proficiency in fine-grained video motion understanding remains critically limited. They often lack inter-frame differencing and tend to average or ignore subtle visual cues. Furthermore, while visual prompting has shown potential in static images, its application to video's temporal complexities, particularly for fine-grained motion understanding, remains largely unexplored. We investigate whether inherent capability can be unlocked and boost MLLMs' motion perception and enable distinct visual signatures tailored to decouple object and camera motion cues. In this study, we introduce MotionSight, a novel zero-shot method pioneering object-centric visual spotlight and motion blur as visual prompts to effectively improve fine-grained motion understanding without training. To convert this into valuable data assets, we curated MotionVid-QA, the first large-scale dataset for fine-grained video motion understanding, with hierarchical annotations including SFT and preference data, {\Theta}(40K) video clips and {\Theta}(87K) QAs. Experiments show MotionSight achieves state-of-the-art open-source performance and competitiveness with commercial models. In particular, for fine-grained motion understanding we present a novel zero-shot technique and a large-scale, high-quality dataset. All the code and annotations will be publicly available.