ChatPaper.aiChatPaper

UniGeo: Konsistente Geometrieschätzung durch gezielte Steuerung von Video-Diffusion

UniGeo: Taming Video Diffusion for Unified Consistent Geometry Estimation

May 30, 2025
Autoren: Yang-Tian Sun, Xin Yu, Zehuan Huang, Yi-Hua Huang, Yuan-Chen Guo, Ziyi Yang, Yan-Pei Cao, Xiaojuan Qi
cs.AI

Zusammenfassung

In letzter Zeit haben Methoden, die Diffusion-Modelle-Priors nutzen, um monokulare geometrische Schätzungen (z. B. Tiefe und Normale) zu unterstützen, aufgrund ihrer starken Generalisierungsfähigkeit erhebliche Aufmerksamkeit erregt. Die meisten bestehenden Arbeiten konzentrieren sich jedoch auf die Schätzung geometrischer Eigenschaften innerhalb des Kamera-Koordinatensystems einzelner Videobilder und vernachlässigen die inhärente Fähigkeit von Diffusion-Modellen, Inter-Frame-Korrespondenzen zu bestimmen. In dieser Arbeit zeigen wir, dass durch geeignetes Design und Feinabstimmung die intrinsische Konsistenz von Video-Generierungsmodellen effektiv für konsistente geometrische Schätzungen genutzt werden kann. Konkret 1) wählen wir geometrische Attribute im globalen Koordinatensystem aus, die dieselbe Korrespondenz mit Videobildern teilen wie die Vorhersageziele, 2) führen eine neuartige und effiziente Konditionierungsmethode durch Wiederverwendung von Positionskodierungen ein und 3) verbessern die Leistung durch gemeinsames Training an mehreren geometrischen Attributen, die dieselbe Korrespondenz teilen. Unsere Ergebnisse erzielen eine überlegene Leistung bei der Vorhersage globaler geometrischer Attribute in Videos und können direkt auf Rekonstruktionsaufgaben angewendet werden. Selbst wenn ausschließlich mit statischen Videodaten trainiert, zeigt unser Ansatz das Potenzial, sich auf dynamische Videoszenen zu verallgemeinern.
English
Recently, methods leveraging diffusion model priors to assist monocular geometric estimation (e.g., depth and normal) have gained significant attention due to their strong generalization ability. However, most existing works focus on estimating geometric properties within the camera coordinate system of individual video frames, neglecting the inherent ability of diffusion models to determine inter-frame correspondence. In this work, we demonstrate that, through appropriate design and fine-tuning, the intrinsic consistency of video generation models can be effectively harnessed for consistent geometric estimation. Specifically, we 1) select geometric attributes in the global coordinate system that share the same correspondence with video frames as the prediction targets, 2) introduce a novel and efficient conditioning method by reusing positional encodings, and 3) enhance performance through joint training on multiple geometric attributes that share the same correspondence. Our results achieve superior performance in predicting global geometric attributes in videos and can be directly applied to reconstruction tasks. Even when trained solely on static video data, our approach exhibits the potential to generalize to dynamic video scenes.
PDF152June 2, 2025