ChatPaper.aiChatPaper

UniGeo: Domando la Difusión de Video para la Estimación Unificada de Geometría Consistente

UniGeo: Taming Video Diffusion for Unified Consistent Geometry Estimation

May 30, 2025
Autores: Yang-Tian Sun, Xin Yu, Zehuan Huang, Yi-Hua Huang, Yuan-Chen Guo, Ziyi Yang, Yan-Pei Cao, Xiaojuan Qi
cs.AI

Resumen

Recientemente, los métodos que aprovechan los priores de los modelos de difusión para asistir en la estimación geométrica monocular (por ejemplo, profundidad y normales) han ganado una atención significativa debido a su fuerte capacidad de generalización. Sin embargo, la mayoría de los trabajos existentes se centran en estimar propiedades geométricas dentro del sistema de coordenadas de la cámara de fotogramas individuales de video, descuidando la capacidad inherente de los modelos de difusión para determinar la correspondencia entre fotogramas. En este trabajo, demostramos que, mediante un diseño y ajuste adecuados, la consistencia intrínseca de los modelos de generación de video puede aprovecharse eficazmente para una estimación geométrica consistente. Específicamente, 1) seleccionamos atributos geométricos en el sistema de coordenadas global que comparten la misma correspondencia con los fotogramas de video como objetivos de predicción, 2) introducimos un método novedoso y eficiente de condicionamiento mediante la reutilización de codificaciones posicionales, y 3) mejoramos el rendimiento mediante el entrenamiento conjunto en múltiples atributos geométricos que comparten la misma correspondencia. Nuestros resultados logran un rendimiento superior en la predicción de atributos geométricos globales en videos y pueden aplicarse directamente a tareas de reconstrucción. Incluso cuando se entrena únicamente con datos de video estáticos, nuestro enfoque exhibe el potencial de generalizarse a escenas de video dinámicas.
English
Recently, methods leveraging diffusion model priors to assist monocular geometric estimation (e.g., depth and normal) have gained significant attention due to their strong generalization ability. However, most existing works focus on estimating geometric properties within the camera coordinate system of individual video frames, neglecting the inherent ability of diffusion models to determine inter-frame correspondence. In this work, we demonstrate that, through appropriate design and fine-tuning, the intrinsic consistency of video generation models can be effectively harnessed for consistent geometric estimation. Specifically, we 1) select geometric attributes in the global coordinate system that share the same correspondence with video frames as the prediction targets, 2) introduce a novel and efficient conditioning method by reusing positional encodings, and 3) enhance performance through joint training on multiple geometric attributes that share the same correspondence. Our results achieve superior performance in predicting global geometric attributes in videos and can be directly applied to reconstruction tasks. Even when trained solely on static video data, our approach exhibits the potential to generalize to dynamic video scenes.
PDF152June 2, 2025