MVTrack4Gen : Suivi de points multi-vue comme supervision géométrique pour la génération de vidéo 4D

Résumé

La synthèse d'une vidéo de nouvelle vue à partir d'une vidéo de référence monoculaire le long d'une trajectoire de caméra cible nécessite à la fois une cohérence géométrique et une fidélité du mouvement par rapport à la vidéo de référence. Les méthodes existantes basées sur des représentations 3D explicites sont limitées par la précision des modules de reconstruction prêts à l'emploi, qui produisent souvent une géométrie inexacte pour les objets dynamiques dans les vidéos monoculaires. En revanche, les méthodes basées uniquement sur le conditionnement de la caméra peuvent atteindre une qualité visuelle élevée, mais peinent souvent à préserver la cohérence géométrique et du mouvement. Dans ce travail, nous introduisons MVTrack4Gen (suivi de points multi-vues pour la génération de nouvelles vues), un cadre d'entraînement conscient du mouvement qui exploite le suivi de points multi-vues comme signal de supervision géométrique et de mouvement supplémentaire pour les modèles de diffusion de vidéo de nouvelle vue basés uniquement sur le conditionnement de la caméra. Notre résultat clé est que certaines couches d'attention encodent de forts indices de correspondance, où les caractéristiques de requête portent attention aux caractéristiques clés à des emplacements géométriquement correspondants entre les vues et au fil du temps, et que le désalignement de ces correspondances provoque une incohérence du mouvement. Sur la base de cette observation, nous routons ces caractéristiques vers une tête de suivi multi-vues auxiliaire et entraînons conjointement le modèle de diffusion avec un objectif de suivi de points. En renforçant explicitement ces correspondances conscientes du mouvement, MVTrack4Gen améliore les modèles existants pour mieux suivre le mouvement dans la vue de référence et maintenir une cohérence géométrique inter-vues. Sur divers benchmarks, notre méthode atteint une cohérence géométrique de pointe et une précision de caméra compétitive.

English

Synthesizing a novel-view video from a monocular reference video along a target camera trajectory requires both geometric consistency and motion fidelity with respect to the reference video. Existing methods based on explicit 3D representations are limited by the accuracy of off-the-shelf reconstruction modules, which often produce inaccurate geometry for dynamic objects in monocular videos. In contrast, camera-conditioning-only methods can achieve high visual quality but often struggle to preserve geometric and motion consistency. In this work, we introduce MVTrack4Gen (Multi-View point Tracking for Novel-View Generation), a motion-aware training framework that leverages multi-view point tracking as an additional geometric and motion supervision signal for camera-conditioning-only novel-view video diffusion models. Our key finding is that specific attention layers encode strong correspondence cues, where query features attend to key features at geometrically corresponding locations across views and over time, and the misalignment of these correspondences causes motion inconsistency. Based on this observation, we route these features into an auxiliary multi-view tracking head and jointly train the diffusion model with a point-tracking objective. By explicitly strengthening these motion-aware correspondences, MVTrack4Gen improves existing models to better follow the motion in the reference view and maintain cross-view geometric consistency. Across diverse benchmarks, our method achieves state-of-the-art geometric consistency and competitive camera accuracy.