UniGeo: Domando a Difusão de Vídeo para Estimativa Unificada e Consistente de Geometria

UniGeo: Taming Video Diffusion for Unified Consistent Geometry Estimation

May 30, 2025

Autores: Yang-Tian Sun, Xin Yu, Zehuan Huang, Yi-Hua Huang, Yuan-Chen Guo, Ziyi Yang, Yan-Pei Cao, Xiaojuan Qi

cs.AI

Resumo

Recentemente, métodos que utilizam priors de modelos de difusão para auxiliar na estimativa geométrica monocromática (por exemplo, profundidade e normal) têm ganhado atenção significativa devido à sua forte capacidade de generalização. No entanto, a maioria dos trabalhos existentes se concentra na estimativa de propriedades geométricas dentro do sistema de coordenadas da câmera de quadros individuais de vídeo, negligenciando a capacidade inerente dos modelos de difusão de determinar correspondências entre quadros. Neste trabalho, demonstramos que, através de um design e ajuste apropriados, a consistência intrínseca dos modelos de geração de vídeo pode ser efetivamente aproveitada para estimativas geométricas consistentes. Especificamente, 1) selecionamos atributos geométricos no sistema de coordenadas global que compartilham a mesma correspondência com os quadros de vídeo como alvos de predição, 2) introduzimos um método de condicionamento novo e eficiente ao reutilizar codificações posicionais, e 3) aprimoramos o desempenho através do treinamento conjunto em múltiplos atributos geométricos que compartilham a mesma correspondência. Nossos resultados alcançam desempenho superior na predição de atributos geométricos globais em vídeos e podem ser diretamente aplicados a tarefas de reconstrução. Mesmo quando treinados exclusivamente em dados de vídeo estático, nossa abordagem exibe o potencial de generalização para cenas de vídeo dinâmicas.

English

Recently, methods leveraging diffusion model priors to assist monocular geometric estimation (e.g., depth and normal) have gained significant attention due to their strong generalization ability. However, most existing works focus on estimating geometric properties within the camera coordinate system of individual video frames, neglecting the inherent ability of diffusion models to determine inter-frame correspondence. In this work, we demonstrate that, through appropriate design and fine-tuning, the intrinsic consistency of video generation models can be effectively harnessed for consistent geometric estimation. Specifically, we 1) select geometric attributes in the global coordinate system that share the same correspondence with video frames as the prediction targets, 2) introduce a novel and efficient conditioning method by reusing positional encodings, and 3) enhance performance through joint training on multiple geometric attributes that share the same correspondence. Our results achieve superior performance in predicting global geometric attributes in videos and can be directly applied to reconstruction tasks. Even when trained solely on static video data, our approach exhibits the potential to generalize to dynamic video scenes.