NormalCrafter: Aprendendo Normais Temporalmente Consistentes a partir de Vídeo com Priors de Difusão

NormalCrafter: Learning Temporally Consistent Normals from Video Diffusion Priors

April 15, 2025

Autores: Yanrui Bin, Wenbo Hu, Haoyuan Wang, Xinya Chen, Bing Wang

cs.AI

Resumo

A estimativa de normais de superfície serve como um pilar fundamental para uma variedade de aplicações de visão computacional. Embora inúmeros esforços tenham sido dedicados a cenários de imagens estáticas, garantir coerência temporal na estimativa de normais baseada em vídeo continua sendo um desafio formidável. Em vez de simplesmente aprimorar métodos existentes com componentes temporais, apresentamos o NormalCrafter para aproveitar os priors temporais inerentes dos modelos de difusão de vídeo. Para garantir uma estimativa de normais de alta fidelidade em sequências, propomos a Regularização de Características Semânticas (SFR, na sigla em inglês), que alinha as características de difusão com pistas semânticas, incentivando o modelo a se concentrar na semântica intrínseca da cena. Além disso, introduzimos um protocolo de treinamento em duas etapas que aproveita o aprendizado tanto no espaço latente quanto no espaço de pixels para preservar a precisão espacial enquanto mantém um contexto temporal longo. Avaliações extensivas demonstram a eficácia do nosso método, exibindo um desempenho superior na geração de sequências de normais temporalmente consistentes com detalhes intrincados a partir de vídeos diversos.

English

Surface normal estimation serves as a cornerstone for a spectrum of computer vision applications. While numerous efforts have been devoted to static image scenarios, ensuring temporal coherence in video-based normal estimation remains a formidable challenge. Instead of merely augmenting existing methods with temporal components, we present NormalCrafter to leverage the inherent temporal priors of video diffusion models. To secure high-fidelity normal estimation across sequences, we propose Semantic Feature Regularization (SFR), which aligns diffusion features with semantic cues, encouraging the model to concentrate on the intrinsic semantics of the scene. Moreover, we introduce a two-stage training protocol that leverages both latent and pixel space learning to preserve spatial accuracy while maintaining long temporal context. Extensive evaluations demonstrate the efficacy of our method, showcasing a superior performance in generating temporally consistent normal sequences with intricate details from diverse videos.