Attribution du mouvement pour la génération vidéo
Motion Attribution for Video Generation
January 13, 2026
papers.authors: Xindi Wu, Despoina Paschalidou, Jun Gao, Antonio Torralba, Laura Leal-Taixé, Olga Russakovsky, Sanja Fidler, Jonathan Lorraine
cs.AI
papers.abstract
Malgré les progrès rapides des modèles de génération vidéo, le rôle des données dans l'influence du mouvement reste mal compris. Nous présentons Motive (MOTIon attribution for Video gEneration), un cadre d'attribution des données basé sur les gradients et centré sur le mouvement, qui s'adapte aux jeux de données vidéo modernes, volumineux et de haute qualité, ainsi qu'aux modèles correspondants. Nous l'utilisons pour étudier quels clips de fine-tuning améliorent ou dégradent la dynamique temporelle. Motive isole la dynamique temporelle de l'apparence statique via des masques de perte pondérés par le mouvement, permettant un calcul d'influence spécifique au mouvement efficace et évolutif. Sur les modèles texte-à-vidéo, Motive identifie les clips qui affectent fortement le mouvement et guide la curation de données qui améliore la cohérence temporelle et la plausibilité physique. Avec les données à forte influence sélectionnées par Motive, notre méthode améliore à la fois la fluidité du mouvement et le degré dynamique sur VBench, obtenant un taux de préférence humaine de 74,1 % par rapport au modèle de base pré-entraîné. À notre connaissance, il s'agit du premier cadre à attribuer le mouvement plutôt que l'apparence visuelle dans les modèles génératifs vidéo et à l'utiliser pour curater les données de fine-tuning.
English
Despite the rapid progress of video generation models, the role of data in influencing motion is poorly understood. We present Motive (MOTIon attribution for Video gEneration), a motion-centric, gradient-based data attribution framework that scales to modern, large, high-quality video datasets and models. We use this to study which fine-tuning clips improve or degrade temporal dynamics. Motive isolates temporal dynamics from static appearance via motion-weighted loss masks, yielding efficient and scalable motion-specific influence computation. On text-to-video models, Motive identifies clips that strongly affect motion and guides data curation that improves temporal consistency and physical plausibility. With Motive-selected high-influence data, our method improves both motion smoothness and dynamic degree on VBench, achieving a 74.1% human preference win rate compared with the pretrained base model. To our knowledge, this is the first framework to attribute motion rather than visual appearance in video generative models and to use it to curate fine-tuning data.