MVTrack4Gen: Seguimiento de puntos multivista como supervisión geométrica para generación de video 4D

Resumen

La síntesis de un video desde una nueva perspectiva a partir de un video de referencia monocular, siguiendo una trayectoria de cámara objetivo, requiere tanto consistencia geométrica como fidelidad de movimiento con respecto al video de referencia. Los métodos existentes basados en representaciones 3D explícitas están limitados por la precisión de los módulos de reconstrucción disponibles, que a menudo producen geometría inexacta para objetos dinámicos en videos monoculares. En contraste, los métodos basados únicamente en el condicionamiento de la cámara pueden lograr una alta calidad visual, pero suelen tener dificultades para preservar la consistencia geométrica y de movimiento. En este trabajo, presentamos MVTrack4Gen (Multi-View point Tracking for Novel-View Generation), un marco de entrenamiento consciente del movimiento que aprovecha el seguimiento de puntos multivista como una señal de supervisión geométrica y de movimiento adicional para modelos de difusión de video de nueva vista basados únicamente en el condicionamiento de la cámara. Nuestro hallazgo clave es que ciertas capas de atención codifican fuertes señales de correspondencia, donde las características de consulta atienden a características clave en ubicaciones geométricamente correspondientes a través de vistas y a lo largo del tiempo, y la desalineación de estas correspondencias causa inconsistencia en el movimiento. Basándonos en esta observación, enrutamos estas características a un cabezal auxiliar de seguimiento multivista y entrenamos conjuntamente el modelo de difusión con un objetivo de seguimiento de puntos. Al fortalecer explícitamente estas correspondencias conscientes del movimiento, MVTrack4Gen mejora los modelos existentes para que sigan mejor el movimiento en la vista de referencia y mantengan la consistencia geométrica entre vistas. En diversos puntos de referencia, nuestro método logra una consistencia geométrica de última generación y una precisión de cámara competitiva.

English

Synthesizing a novel-view video from a monocular reference video along a target camera trajectory requires both geometric consistency and motion fidelity with respect to the reference video. Existing methods based on explicit 3D representations are limited by the accuracy of off-the-shelf reconstruction modules, which often produce inaccurate geometry for dynamic objects in monocular videos. In contrast, camera-conditioning-only methods can achieve high visual quality but often struggle to preserve geometric and motion consistency. In this work, we introduce MVTrack4Gen (Multi-View point Tracking for Novel-View Generation), a motion-aware training framework that leverages multi-view point tracking as an additional geometric and motion supervision signal for camera-conditioning-only novel-view video diffusion models. Our key finding is that specific attention layers encode strong correspondence cues, where query features attend to key features at geometrically corresponding locations across views and over time, and the misalignment of these correspondences causes motion inconsistency. Based on this observation, we route these features into an auxiliary multi-view tracking head and jointly train the diffusion model with a point-tracking objective. By explicitly strengthening these motion-aware correspondences, MVTrack4Gen improves existing models to better follow the motion in the reference view and maintain cross-view geometric consistency. Across diverse benchmarks, our method achieves state-of-the-art geometric consistency and competitive camera accuracy.