MotionSight: Aprimorando a Compreensão de Movimentos de Alta Granularidade em LLMs Multimodais
MotionSight: Boosting Fine-Grained Motion Understanding in Multimodal LLMs
June 2, 2025
Autores: Yipeng Du, Tiehan Fan, Kepan Nan, Rui Xie, Penghao Zhou, Xiang Li, Jian Yang, Zhenheng Yang, Ying Tai
cs.AI
Resumo
Apesar dos avanços nos Modelos de Linguagem Multimodais de Grande Escala (MLLMs), sua proficiência na compreensão de movimentos detalhados em vídeos permanece criticamente limitada. Eles frequentemente carecem de diferenciação entre quadros e tendem a calcular médias ou ignorar pistas visuais sutis. Além disso, embora o prompting visual tenha mostrado potencial em imagens estáticas, sua aplicação às complexidades temporais dos vídeos, particularmente para a compreensão de movimentos detalhados, permanece amplamente inexplorada. Investigamos se a capacidade inerente pode ser desbloqueada e impulsionar a percepção de movimento dos MLLMs, permitindo assinaturas visuais distintas adaptadas para desacoplar pistas de movimento de objetos e da câmera. Neste estudo, introduzimos o MotionSight, um método inovador de zero-shot que pioneira o uso de spotlight visual centrado no objeto e desfoque de movimento como prompts visuais para melhorar efetivamente a compreensão de movimentos detalhados sem treinamento. Para transformar isso em ativos de dados valiosos, criamos o MotionVid-QA, o primeiro conjunto de dados em grande escala para a compreensão de movimentos detalhados em vídeos, com anotações hierárquicas incluindo dados de SFT e preferência, {\Theta}(40K) clipes de vídeo e {\Theta}(87K) perguntas e respostas. Os experimentos mostram que o MotionSight alcança desempenho de última geração em código aberto e competitividade com modelos comerciais. Em particular, para a compreensão de movimentos detalhados, apresentamos uma técnica inovadora de zero-shot e um conjunto de dados em grande escala e de alta qualidade. Todo o código e anotações estarão publicamente disponíveis.
English
Despite advancements in Multimodal Large Language Models (MLLMs), their
proficiency in fine-grained video motion understanding remains critically
limited. They often lack inter-frame differencing and tend to average or ignore
subtle visual cues. Furthermore, while visual prompting has shown potential in
static images, its application to video's temporal complexities, particularly
for fine-grained motion understanding, remains largely unexplored. We
investigate whether inherent capability can be unlocked and boost MLLMs' motion
perception and enable distinct visual signatures tailored to decouple object
and camera motion cues. In this study, we introduce MotionSight, a novel
zero-shot method pioneering object-centric visual spotlight and motion blur as
visual prompts to effectively improve fine-grained motion understanding without
training. To convert this into valuable data assets, we curated MotionVid-QA,
the first large-scale dataset for fine-grained video motion understanding, with
hierarchical annotations including SFT and preference data, {\Theta}(40K) video
clips and {\Theta}(87K) QAs. Experiments show MotionSight achieves
state-of-the-art open-source performance and competitiveness with commercial
models. In particular, for fine-grained motion understanding we present a novel
zero-shot technique and a large-scale, high-quality dataset. All the code and
annotations will be publicly available.