Sketch3DVE: Modifica di video di scene 3D basata su schizzi

Sketch3DVE: Sketch-based 3D-Aware Scene Video Editing

August 19, 2025

Autori: Feng-Lin Liu, Shi-Yang Li, Yan-Pei Cao, Hongbo Fu, Lin Gao

cs.AI

Abstract

I recenti metodi di editing video ottengono risultati attraenti nel trasferimento di stile o nella modifica dell'aspetto. Tuttavia, modificare il contenuto strutturale di scene 3D nei video rimane una sfida, specialmente quando si affrontano cambiamenti significativi del punto di vista, come grandi rotazioni della telecamera o zoom. Le principali difficoltà includono la generazione di contenuti per nuove visualizzazioni che rimangano coerenti con il video originale, la preservazione delle regioni non modificate e la traduzione di input 2D sparsi in output video 3D realistici. Per affrontare questi problemi, proponiamo Sketch3DVE, un metodo di editing video basato su schizzi e consapevole della 3D, che consente una manipolazione locale dettagliata di video con significativi cambiamenti del punto di vista. Per risolvere la sfida posta dagli input sparsi, utilizziamo metodi di editing delle immagini per generare risultati modificati per il primo fotogramma, che vengono poi propagati ai fotogrammi rimanenti del video. Utilizziamo lo schizzo come strumento di interazione per un controllo preciso della geometria, mentre sono supportati anche altri metodi di editing delle immagini basati su maschere. Per gestire i cambiamenti del punto di vista, eseguiamo un'analisi dettagliata e una manipolazione delle informazioni 3D nel video. Nello specifico, utilizziamo un metodo stereo denso per stimare una nuvola di punti e i parametri della telecamera del video di input. Proponiamo quindi un approccio di editing della nuvola di punti che utilizza mappe di profondità per rappresentare la geometria 3D dei componenti appena modificati, allineandoli efficacemente con la scena 3D originale. Per fondere in modo fluido il contenuto appena modificato con il video originale preservando le caratteristiche delle regioni non modificate, introduciamo una strategia di propagazione delle maschere consapevole della 3D e utilizziamo un modello di diffusione video per produrre video modificati realistici. Esperimenti estensivi dimostrano la superiorità di Sketch3DVE nell'editing video. Homepage e codice: http://geometrylearning.com/Sketch3DVE/

English

Recent video editing methods achieve attractive results in style transfer or appearance modification. However, editing the structural content of 3D scenes in videos remains challenging, particularly when dealing with significant viewpoint changes, such as large camera rotations or zooms. Key challenges include generating novel view content that remains consistent with the original video, preserving unedited regions, and translating sparse 2D inputs into realistic 3D video outputs. To address these issues, we propose Sketch3DVE, a sketch-based 3D-aware video editing method to enable detailed local manipulation of videos with significant viewpoint changes. To solve the challenge posed by sparse inputs, we employ image editing methods to generate edited results for the first frame, which are then propagated to the remaining frames of the video. We utilize sketching as an interaction tool for precise geometry control, while other mask-based image editing methods are also supported. To handle viewpoint changes, we perform a detailed analysis and manipulation of the 3D information in the video. Specifically, we utilize a dense stereo method to estimate a point cloud and the camera parameters of the input video. We then propose a point cloud editing approach that uses depth maps to represent the 3D geometry of newly edited components, aligning them effectively with the original 3D scene. To seamlessly merge the newly edited content with the original video while preserving the features of unedited regions, we introduce a 3D-aware mask propagation strategy and employ a video diffusion model to produce realistic edited videos. Extensive experiments demonstrate the superiority of Sketch3DVE in video editing. Homepage and code: http://http://geometrylearning.com/Sketch3DVE/