Génération rapide de maillage 4D par chaînes d'attention spatio-temporelle

Résumé

La génération de maillage 4D a récemment émergé comme un paradigme puissant pour reconstruire des structures 3D dynamiques à partir de vidéos, mais les méthodes existantes restent lentes, coûteuses en calcul et difficiles à généraliser à des séquences plus longues. Nous introduisons une approche sans entraînement qui accélère la génération de maillage 4D tout en améliorant la qualité des correspondances temporelles. Notre observation clé est que les correspondances temporelles émergent au sein d'un modèle de base 4D bien avant que ses maillages générés ne deviennent visuellement précis. Nous exploitons cela avec un cadre général que nous appelons Chaîne d'Attention Spatio-Temporelle, qui propage l'information à travers l'espace et le temps. Partant des sommets d'un maillage de référence, la chaîne mappe les sommets vers des jetons latents. Elle suit ensuite les correspondances temporelles dans l'espace latent et récupère des sommets spécifiques à chaque image via une attention latente-à-sommet. Cette conception évite un appariement explicite coûteux tout en préservant les détails du maillage de référence, améliorant ainsi la géométrie du maillage dynamique et la cohérence temporelle. Comparée à l'état de l'art, notre méthode génère un maillage 4D en 9 secondes, réalisant une accélération de 13 fois tout en produisant des résultats de meilleure qualité. De plus, notre approche s'adapte à des vidéos jusqu'à 16 fois plus longues sans dégrader la qualité du maillage. Au-delà de la génération, les correspondances améliorées permettent des performances zero-shot compétitives sur deux tâches en aval : le suivi d'objets 2D et le suivi 4D. Nous montrons également que notre cadre permet une estimation fiable de la caméra, une capacité non prise en charge par les méthodes antérieures de génération de maillage 4D.

English

4D mesh generation has recently emerged as a powerful paradigm for recovering dynamic 3D structure from videos, but existing methods remain slow, computationally expensive, and difficult to scale to longer sequences. We introduce a training-free approach that accelerates 4D mesh generation while improving temporal correspondence quality. Our key observation is that temporal correspondences emerge inside a 4D backbone long before its generated meshes become visually accurate. We exploit this with a general framework we call Spatio-Temporal Attention Chain which propagates information across space and time. Starting from vertices on an anchor mesh, the chain maps vertices to latent tokens. It then follows temporal correspondences in latent space, and recovers frame-specific vertices through latent-to-vertex attention. This design avoids expensive explicit matching while preserving anchor mesh details and thereby improving dynamic mesh geometry and temporal consistency. Compared to state-of-the-art, our method generates a 4D mesh in 9 seconds, achieving a 13times speedup while producing higher-quality results. Moreover, our approach scales to videos up to 16times longer without degrading mesh quality. Beyond generation, the improved correspondences enable competitive zero-shot performance on two downstream tasks: 2D object tracking and 4D tracking. We further show that our framework enables reliable camera estimation, a capability not supported by prior 4D mesh generation methods.