MotionSight: Улучшение понимания тонких движений в мультимодальных крупных языковых моделях

MotionSight: Boosting Fine-Grained Motion Understanding in Multimodal LLMs

June 2, 2025

Авторы: Yipeng Du, Tiehan Fan, Kepan Nan, Rui Xie, Penghao Zhou, Xiang Li, Jian Yang, Zhenheng Yang, Ying Tai

cs.AI

Аннотация

Несмотря на прогресс в области мультимодальных больших языковых моделей (MLLMs), их способность к детальному пониманию движения в видео остается крайне ограниченной. Они часто не учитывают различия между кадрами и склонны усреднять или игнорировать тонкие визуальные подсказки. Кроме того, хотя визуальные подсказки показали потенциал в работе со статичными изображениями, их применение к временным сложностям видео, особенно для детального понимания движения, остается практически неисследованным. Мы исследуем, можно ли раскрыть внутренние возможности и улучшить восприятие движения MLLMs, а также создать уникальные визуальные сигнатуры для разделения подсказок движения объектов и камеры. В данном исследовании мы представляем MotionSight — новый метод с нулевым обучением, который впервые использует объектно-ориентированный визуальный акцент и размытие в движении в качестве визуальных подсказок для эффективного улучшения детального понимания движения без обучения. Чтобы превратить это в ценные данные, мы создали MotionVid-QA — первый крупномасштабный набор данных для детального понимания движения в видео, содержащий иерархические аннотации, включая данные SFT и предпочтений, около 40 тысяч видеоклипов и около 87 тысяч вопросов и ответов. Эксперименты показывают, что MotionSight достигает передовых результатов среди открытых моделей и конкурирует с коммерческими решениями. В частности, для детального понимания движения мы представляем новый метод с нулевым обучением и крупномасштабный высококачественный набор данных. Весь код и аннотации будут общедоступны.

English

Despite advancements in Multimodal Large Language Models (MLLMs), their proficiency in fine-grained video motion understanding remains critically limited. They often lack inter-frame differencing and tend to average or ignore subtle visual cues. Furthermore, while visual prompting has shown potential in static images, its application to video's temporal complexities, particularly for fine-grained motion understanding, remains largely unexplored. We investigate whether inherent capability can be unlocked and boost MLLMs' motion perception and enable distinct visual signatures tailored to decouple object and camera motion cues. In this study, we introduce MotionSight, a novel zero-shot method pioneering object-centric visual spotlight and motion blur as visual prompts to effectively improve fine-grained motion understanding without training. To convert this into valuable data assets, we curated MotionVid-QA, the first large-scale dataset for fine-grained video motion understanding, with hierarchical annotations including SFT and preference data, {\Theta}(40K) video clips and {\Theta}(87K) QAs. Experiments show MotionSight achieves state-of-the-art open-source performance and competitiveness with commercial models. In particular, for fine-grained motion understanding we present a novel zero-shot technique and a large-scale, high-quality dataset. All the code and annotations will be publicly available.