UniGeo: Domare la diffusione video per una stima geometrica unificata e coerente
UniGeo: Taming Video Diffusion for Unified Consistent Geometry Estimation
May 30, 2025
Autori: Yang-Tian Sun, Xin Yu, Zehuan Huang, Yi-Hua Huang, Yuan-Chen Guo, Ziyi Yang, Yan-Pei Cao, Xiaojuan Qi
cs.AI
Abstract
Recentemente, i metodi che sfruttano i prior dei modelli di diffusione per assistere la stima geometrica monoculare (ad esempio, profondità e normale) hanno attirato una significativa attenzione grazie alla loro forte capacità di generalizzazione. Tuttavia, la maggior parte dei lavori esistenti si concentra sulla stima delle proprietà geometriche all'interno del sistema di coordinate della fotocamera di singoli fotogrammi video, trascurando l'abilità intrinseca dei modelli di diffusione di determinare la corrispondenza inter-fotogramma. In questo lavoro, dimostriamo che, attraverso un design appropriato e un fine-tuning, la consistenza intrinseca dei modelli di generazione video può essere efficacemente sfruttata per una stima geometrica consistente. Nello specifico, 1) selezioniamo attributi geometrici nel sistema di coordinate globali che condividono la stessa corrispondenza con i fotogrammi video come obiettivi di previsione, 2) introduciamo un metodo di condizionamento nuovo ed efficiente riutilizzando le codifiche posizionali, e 3) miglioriamo le prestazioni attraverso un addestramento congiunto su più attributi geometrici che condividono la stessa corrispondenza. I nostri risultati raggiungono prestazioni superiori nella previsione degli attributi geometrici globali nei video e possono essere direttamente applicati ai task di ricostruzione. Anche quando addestrato esclusivamente su dati video statici, il nostro approccio mostra il potenziale di generalizzare a scene video dinamiche.
English
Recently, methods leveraging diffusion model priors to assist monocular
geometric estimation (e.g., depth and normal) have gained significant attention
due to their strong generalization ability. However, most existing works focus
on estimating geometric properties within the camera coordinate system of
individual video frames, neglecting the inherent ability of diffusion models to
determine inter-frame correspondence. In this work, we demonstrate that,
through appropriate design and fine-tuning, the intrinsic consistency of video
generation models can be effectively harnessed for consistent geometric
estimation. Specifically, we 1) select geometric attributes in the global
coordinate system that share the same correspondence with video frames as the
prediction targets, 2) introduce a novel and efficient conditioning method by
reusing positional encodings, and 3) enhance performance through joint training
on multiple geometric attributes that share the same correspondence. Our
results achieve superior performance in predicting global geometric attributes
in videos and can be directly applied to reconstruction tasks. Even when
trained solely on static video data, our approach exhibits the potential to
generalize to dynamic video scenes.