UniGeo: Beheersing van videodiffusie voor uniforme consistente geometrie-estimatie
UniGeo: Taming Video Diffusion for Unified Consistent Geometry Estimation
May 30, 2025
Auteurs: Yang-Tian Sun, Xin Yu, Zehuan Huang, Yi-Hua Huang, Yuan-Chen Guo, Ziyi Yang, Yan-Pei Cao, Xiaojuan Qi
cs.AI
Samenvatting
Onlangs hebben methoden die gebruikmaken van diffusiemodel-priors om monoculaire geometrische schatting (bijv. diepte en normaal) te ondersteunen, aanzienlijke aandacht gekregen vanwege hun sterke generalisatievermogen. De meeste bestaande werken richten zich echter op het schatten van geometrische eigenschappen binnen het cameracoördinatenstelsel van individuele videobeelden, waarbij de inherente mogelijkheid van diffusiemodellen om inter-frame-correspondentie te bepalen wordt verwaarloosd. In dit werk tonen we aan dat, door een geschikt ontwerp en fine-tuning, de intrinsieke consistentie van videogeneratiemodellen effectief kan worden benut voor consistente geometrische schatting. Specifiek 1) selecteren we geometrische attributen in het globale coördinatenstelsel die dezelfde correspondentie met videobeelden delen als de voorspellingsdoelen, 2) introduceren we een nieuwe en efficiënte conditioneringsmethode door hergebruik van positionele coderingen, en 3) verbeteren we de prestaties door gezamenlijke training op meerdere geometrische attributen die dezelfde correspondentie delen. Onze resultaten behalen superieure prestaties bij het voorspellen van globale geometrische attributen in video's en kunnen direct worden toegepast op reconstructietaken. Zelfs wanneer uitsluitend getraind op statische videogegevens, toont onze aanpak het potentieel om te generaliseren naar dynamische videoscenes.
English
Recently, methods leveraging diffusion model priors to assist monocular
geometric estimation (e.g., depth and normal) have gained significant attention
due to their strong generalization ability. However, most existing works focus
on estimating geometric properties within the camera coordinate system of
individual video frames, neglecting the inherent ability of diffusion models to
determine inter-frame correspondence. In this work, we demonstrate that,
through appropriate design and fine-tuning, the intrinsic consistency of video
generation models can be effectively harnessed for consistent geometric
estimation. Specifically, we 1) select geometric attributes in the global
coordinate system that share the same correspondence with video frames as the
prediction targets, 2) introduce a novel and efficient conditioning method by
reusing positional encodings, and 3) enhance performance through joint training
on multiple geometric attributes that share the same correspondence. Our
results achieve superior performance in predicting global geometric attributes
in videos and can be directly applied to reconstruction tasks. Even when
trained solely on static video data, our approach exhibits the potential to
generalize to dynamic video scenes.