ChatPaper.aiChatPaper

UniGeo: Управление видеодиффузией для унифицированной оценки согласованной геометрии

UniGeo: Taming Video Diffusion for Unified Consistent Geometry Estimation

May 30, 2025
Авторы: Yang-Tian Sun, Xin Yu, Zehuan Huang, Yi-Hua Huang, Yuan-Chen Guo, Ziyi Yang, Yan-Pei Cao, Xiaojuan Qi
cs.AI

Аннотация

В последнее время методы, использующие априорные знания диффузионных моделей для помощи в моноокулярной геометрической оценке (например, глубины и нормалей), привлекают значительное внимание благодаря своей высокой способности к обобщению. Однако большинство существующих работ сосредоточено на оценке геометрических свойств в системе координат камеры отдельных кадров видео, игнорируя присущую диффузионным моделям способность определять соответствие между кадрами. В данной работе мы демонстрируем, что при соответствующем проектировании и тонкой настройке внутренняя согласованность моделей генерации видео может быть эффективно использована для согласованной геометрической оценки. В частности, мы 1) выбираем геометрические атрибуты в глобальной системе координат, которые имеют такое же соответствие с кадрами видео, как и целевые прогнозы, 2) вводим новый и эффективный метод кондиционирования путем повторного использования позиционных кодировок и 3) повышаем производительность за счет совместного обучения на нескольких геометрических атрибутах, которые имеют одинаковое соответствие. Наши результаты демонстрируют превосходную производительность в прогнозировании глобальных геометрических атрибутов в видео и могут быть непосредственно применены к задачам реконструкции. Даже при обучении исключительно на статических видеоданных наш подход демонстрирует потенциал для обобщения на динамические видеосцены.
English
Recently, methods leveraging diffusion model priors to assist monocular geometric estimation (e.g., depth and normal) have gained significant attention due to their strong generalization ability. However, most existing works focus on estimating geometric properties within the camera coordinate system of individual video frames, neglecting the inherent ability of diffusion models to determine inter-frame correspondence. In this work, we demonstrate that, through appropriate design and fine-tuning, the intrinsic consistency of video generation models can be effectively harnessed for consistent geometric estimation. Specifically, we 1) select geometric attributes in the global coordinate system that share the same correspondence with video frames as the prediction targets, 2) introduce a novel and efficient conditioning method by reusing positional encodings, and 3) enhance performance through joint training on multiple geometric attributes that share the same correspondence. Our results achieve superior performance in predicting global geometric attributes in videos and can be directly applied to reconstruction tasks. Even when trained solely on static video data, our approach exhibits the potential to generalize to dynamic video scenes.
PDF152June 2, 2025