ChatPaper.aiChatPaper

UniGeo : Maîtriser la diffusion vidéo pour une estimation unifiée et cohérente de la géométrie

UniGeo: Taming Video Diffusion for Unified Consistent Geometry Estimation

May 30, 2025
Auteurs: Yang-Tian Sun, Xin Yu, Zehuan Huang, Yi-Hua Huang, Yuan-Chen Guo, Ziyi Yang, Yan-Pei Cao, Xiaojuan Qi
cs.AI

Résumé

Récemment, les méthodes exploitant les a priori des modèles de diffusion pour assister l'estimation géométrique monoculaire (par exemple, la profondeur et la normale) ont suscité un intérêt considérable en raison de leur forte capacité de généralisation. Cependant, la plupart des travaux existants se concentrent sur l'estimation des propriétés géométriques dans le système de coordonnées de la caméra pour des images vidéo individuelles, négligeant la capacité inhérente des modèles de diffusion à déterminer la correspondance inter-images. Dans ce travail, nous démontrons que, grâce à une conception et un ajustement appropriés, la cohérence intrinsèque des modèles de génération vidéo peut être efficacement exploitée pour une estimation géométrique cohérente. Plus précisément, nous 1) sélectionnons des attributs géométriques dans le système de coordonnées global qui partagent la même correspondance avec les images vidéo que les cibles de prédiction, 2) introduisons une nouvelle méthode de conditionnement efficace en réutilisant les encodages positionnels, et 3) améliorons les performances grâce à un entraînement conjoint sur plusieurs attributs géométriques qui partagent la même correspondance. Nos résultats atteignent des performances supérieures dans la prédiction des attributs géométriques globaux dans les vidéos et peuvent être directement appliqués aux tâches de reconstruction. Même lorsqu'il est entraîné uniquement sur des données vidéo statiques, notre approche montre un potentiel de généralisation aux scènes vidéo dynamiques.
English
Recently, methods leveraging diffusion model priors to assist monocular geometric estimation (e.g., depth and normal) have gained significant attention due to their strong generalization ability. However, most existing works focus on estimating geometric properties within the camera coordinate system of individual video frames, neglecting the inherent ability of diffusion models to determine inter-frame correspondence. In this work, we demonstrate that, through appropriate design and fine-tuning, the intrinsic consistency of video generation models can be effectively harnessed for consistent geometric estimation. Specifically, we 1) select geometric attributes in the global coordinate system that share the same correspondence with video frames as the prediction targets, 2) introduce a novel and efficient conditioning method by reusing positional encodings, and 3) enhance performance through joint training on multiple geometric attributes that share the same correspondence. Our results achieve superior performance in predicting global geometric attributes in videos and can be directly applied to reconstruction tasks. Even when trained solely on static video data, our approach exhibits the potential to generalize to dynamic video scenes.
PDF152June 2, 2025