NormalCrafter: Lernen zeitlich konsistenter Normalen aus Video-Diffusionspriors

NormalCrafter: Learning Temporally Consistent Normals from Video Diffusion Priors

April 15, 2025

Autoren: Yanrui Bin, Wenbo Hu, Haoyuan Wang, Xinya Chen, Bing Wang

cs.AI

Zusammenfassung

Die Schätzung von Oberflächennormalen bildet einen Grundpfeiler für eine Vielzahl von Computer-Vision-Anwendungen. Während zahlreiche Bemühungen auf statische Bildszenarien ausgerichtet waren, bleibt die Gewährleistung zeitlicher Kohärenz bei der Normalenschätzung in Videos eine beträchtliche Herausforderung. Anstatt bestehende Methoden lediglich mit zeitlichen Komponenten zu erweitern, präsentieren wir NormalCrafter, um die inhärenten zeitlichen Prioritäten von Video-Diffusionsmodellen zu nutzen. Um eine hochwertige Normalenschätzung über Sequenzen hinweg zu sichern, schlagen wir die Semantische Merkmalsregularisierung (Semantic Feature Regularization, SFR) vor, die Diffusionsmerkmale mit semantischen Hinweisen abstimmt und das Modell dazu anregt, sich auf die intrinsische Semantik der Szene zu konzentrieren. Darüber hinaus führen wir ein zweistufiges Trainingsprotokoll ein, das sowohl latente als auch Pixelraum-Lernprozesse nutzt, um räumliche Genauigkeit zu bewahren und gleichzeitig einen langen zeitlichen Kontext aufrechtzuerhalten. Umfangreiche Auswertungen belegen die Wirksamkeit unserer Methode und zeigen eine überlegene Leistung bei der Erzeugung zeitlich konsistenter Normalensequenzen mit detaillierten Strukturen aus diversen Videos.

English

Surface normal estimation serves as a cornerstone for a spectrum of computer vision applications. While numerous efforts have been devoted to static image scenarios, ensuring temporal coherence in video-based normal estimation remains a formidable challenge. Instead of merely augmenting existing methods with temporal components, we present NormalCrafter to leverage the inherent temporal priors of video diffusion models. To secure high-fidelity normal estimation across sequences, we propose Semantic Feature Regularization (SFR), which aligns diffusion features with semantic cues, encouraging the model to concentrate on the intrinsic semantics of the scene. Moreover, we introduce a two-stage training protocol that leverages both latent and pixel space learning to preserve spatial accuracy while maintaining long temporal context. Extensive evaluations demonstrate the efficacy of our method, showcasing a superior performance in generating temporally consistent normal sequences with intricate details from diverse videos.