Sketch3DVE : Édition vidéo de scènes 3D consciente basée sur des croquis

Sketch3DVE: Sketch-based 3D-Aware Scene Video Editing

August 19, 2025

papers.authors: Feng-Lin Liu, Shi-Yang Li, Yan-Pei Cao, Hongbo Fu, Lin Gao

cs.AI

papers.abstract

Les méthodes récentes d'édition vidéo obtiennent des résultats attrayants en transfert de style ou en modification d'apparence. Cependant, éditer le contenu structurel de scènes 3D dans des vidéos reste un défi, en particulier lorsqu'il s'agit de changements de point de vue significatifs, tels que des rotations ou des zooms importants de la caméra. Les principaux défis incluent la génération de contenus de nouvelles vues qui restent cohérents avec la vidéo originale, la préservation des régions non éditées, et la traduction d'entrées 2D éparses en sorties vidéo 3D réalistes. Pour résoudre ces problèmes, nous proposons Sketch3DVE, une méthode d'édition vidéo 3D basée sur des croquis permettant une manipulation locale détaillée de vidéos avec des changements de point de vue significatifs. Pour relever le défi posé par les entrées éparses, nous utilisons des méthodes d'édition d'images pour générer des résultats édités pour la première image, qui sont ensuite propagés aux images restantes de la vidéo. Nous utilisons le croquis comme outil d'interaction pour un contrôle géométrique précis, tout en prenant également en charge d'autres méthodes d'édition d'images basées sur des masques. Pour gérer les changements de point de vue, nous effectuons une analyse et une manipulation détaillées des informations 3D dans la vidéo. Plus précisément, nous utilisons une méthode stéréo dense pour estimer un nuage de points et les paramètres de la caméra de la vidéo d'entrée. Nous proposons ensuite une approche d'édition de nuage de points qui utilise des cartes de profondeur pour représenter la géométrie 3D des nouveaux composants édités, les alignant efficacement avec la scène 3D originale. Pour fusionner de manière transparente le nouveau contenu édité avec la vidéo originale tout en préservant les caractéristiques des régions non éditées, nous introduisons une stratégie de propagation de masque 3D et utilisons un modèle de diffusion vidéo pour produire des vidéos éditées réalistes. Des expériences approfondies démontrent la supériorité de Sketch3DVE en matière d'édition vidéo. Page d'accueil et code : http://geometrylearning.com/Sketch3DVE/

English

Recent video editing methods achieve attractive results in style transfer or appearance modification. However, editing the structural content of 3D scenes in videos remains challenging, particularly when dealing with significant viewpoint changes, such as large camera rotations or zooms. Key challenges include generating novel view content that remains consistent with the original video, preserving unedited regions, and translating sparse 2D inputs into realistic 3D video outputs. To address these issues, we propose Sketch3DVE, a sketch-based 3D-aware video editing method to enable detailed local manipulation of videos with significant viewpoint changes. To solve the challenge posed by sparse inputs, we employ image editing methods to generate edited results for the first frame, which are then propagated to the remaining frames of the video. We utilize sketching as an interaction tool for precise geometry control, while other mask-based image editing methods are also supported. To handle viewpoint changes, we perform a detailed analysis and manipulation of the 3D information in the video. Specifically, we utilize a dense stereo method to estimate a point cloud and the camera parameters of the input video. We then propose a point cloud editing approach that uses depth maps to represent the 3D geometry of newly edited components, aligning them effectively with the original 3D scene. To seamlessly merge the newly edited content with the original video while preserving the features of unedited regions, we introduce a 3D-aware mask propagation strategy and employ a video diffusion model to produce realistic edited videos. Extensive experiments demonstrate the superiority of Sketch3DVE in video editing. Homepage and code: http://http://geometrylearning.com/Sketch3DVE/