Generación Rápida de Mallas 4D mediante Cadenas de Atención Espacio-Temporales

Resumen

La generación de mallas 4D ha surgido recientemente como un paradigma poderoso para recuperar estructuras 3D dinámicas a partir de videos, pero los métodos existentes siguen siendo lentos, computacionalmente costosos y difíciles de escalar a secuencias más largas. Presentamos un enfoque sin entrenamiento que acelera la generación de mallas 4D mientras mejora la calidad de las correspondencias temporales. Nuestra observación clave es que las correspondencias temporales emergen dentro de un backbone 4D mucho antes de que sus mallas generadas se vuelvan visualmente precisas. Aprovechamos esto con un marco general que llamamos Cadena de Atención Espacio-Temporal, que propaga información a través del espacio y el tiempo. Partiendo de los vértices en una malla de anclaje, la cadena mapea los vértices a tokens latentes. Luego sigue las correspondencias temporales en el espacio latente y recupera los vértices específicos de cada fotograma mediante atención de latente a vértice. Este diseño evita costosas correspondencias explícitas mientras preserva los detalles de la malla de anclaje, mejorando así la geometría dinámica de la malla y la consistencia temporal. En comparación con el estado del arte, nuestro método genera una malla 4D en 9 segundos, logrando una aceleración de 13 veces mientras produce resultados de mayor calidad. Además, nuestro enfoque se escala a videos hasta 16 veces más largos sin degradar la calidad de la malla. Más allá de la generación, las correspondencias mejoradas permiten un rendimiento zero-shot competitivo en dos tareas descendentes: seguimiento de objetos 2D y seguimiento 4D. Además, mostramos que nuestro marco permite una estimación de cámara fiable, una capacidad no respaldada por métodos anteriores de generación de mallas 4D.

English

4D mesh generation has recently emerged as a powerful paradigm for recovering dynamic 3D structure from videos, but existing methods remain slow, computationally expensive, and difficult to scale to longer sequences. We introduce a training-free approach that accelerates 4D mesh generation while improving temporal correspondence quality. Our key observation is that temporal correspondences emerge inside a 4D backbone long before its generated meshes become visually accurate. We exploit this with a general framework we call Spatio-Temporal Attention Chain which propagates information across space and time. Starting from vertices on an anchor mesh, the chain maps vertices to latent tokens. It then follows temporal correspondences in latent space, and recovers frame-specific vertices through latent-to-vertex attention. This design avoids expensive explicit matching while preserving anchor mesh details and thereby improving dynamic mesh geometry and temporal consistency. Compared to state-of-the-art, our method generates a 4D mesh in 9 seconds, achieving a 13times speedup while producing higher-quality results. Moreover, our approach scales to videos up to 16times longer without degrading mesh quality. Beyond generation, the improved correspondences enable competitive zero-shot performance on two downstream tasks: 2D object tracking and 4D tracking. We further show that our framework enables reliable camera estimation, a capability not supported by prior 4D mesh generation methods.