Sketch3DVE: Skizzenbasierte 3D-bewusste Szenenvideobearbeitung

Sketch3DVE: Sketch-based 3D-Aware Scene Video Editing

August 19, 2025

papers.authors: Feng-Lin Liu, Shi-Yang Li, Yan-Pei Cao, Hongbo Fu, Lin Gao

cs.AI

papers.abstract

Aktuelle Methoden der Videobearbeitung erzielen ansprechende Ergebnisse bei der Stilübertragung oder der Modifikation des Erscheinungsbilds. Die Bearbeitung der strukturellen Inhalte von 3D-Szenen in Videos bleibt jedoch eine Herausforderung, insbesondere bei signifikanten Blickwinkeländerungen wie großen Kameradrehungen oder Zooms. Zu den zentralen Herausforderungen gehören die Erzeugung von neuem Ansichtscontent, der mit dem Originalvideo konsistent bleibt, die Bewahrung unveränderter Bereiche sowie die Übersetzung spärlicher 2D-Eingaben in realistische 3D-Videoausgaben. Um diese Probleme zu lösen, schlagen wir Sketch3DVE vor, eine skizzengestützte, 3D-bewusste Videobearbeitungsmethode, die eine detaillierte lokale Manipulation von Videos mit erheblichen Blickwinkeländerungen ermöglicht. Um die Herausforderung durch spärliche Eingaben zu bewältigen, verwenden wir Bildbearbeitungsmethoden, um bearbeitete Ergebnisse für den ersten Frame zu generieren, die dann auf die verbleibenden Frames des Videos übertragen werden. Wir nutzen Skizzen als Interaktionstool für eine präzise geometrische Steuerung, während auch andere maskenbasierte Bildbearbeitungsmethoden unterstützt werden. Um Blickwinkeländerungen zu handhaben, führen wir eine detaillierte Analyse und Manipulation der 3D-Informationen im Video durch. Insbesondere verwenden wir eine dichte Stereo-Methode, um eine Punktwolke und die Kameraparameter des Eingabevideos zu schätzen. Anschließend schlagen wir einen Punktwolkenbearbeitungsansatz vor, der Tiefenkarten verwendet, um die 3D-Geometrie neu bearbeiteter Komponenten darzustellen und sie effektiv mit der ursprünglichen 3D-Szene auszurichten. Um den neu bearbeiteten Content nahtlos mit dem Originalvideo zu verschmelzen und gleichzeitig die Merkmale unveränderter Bereiche zu bewahren, führen wir eine 3D-bewusste Maskenpropagationsstrategie ein und verwenden ein Video-Diffusionsmodell, um realistische bearbeitete Videos zu erzeugen. Umfangreiche Experimente demonstrieren die Überlegenheit von Sketch3DVE in der Videobearbeitung. Homepage und Code: http://geometrylearning.com/Sketch3DVE/.

English

Recent video editing methods achieve attractive results in style transfer or appearance modification. However, editing the structural content of 3D scenes in videos remains challenging, particularly when dealing with significant viewpoint changes, such as large camera rotations or zooms. Key challenges include generating novel view content that remains consistent with the original video, preserving unedited regions, and translating sparse 2D inputs into realistic 3D video outputs. To address these issues, we propose Sketch3DVE, a sketch-based 3D-aware video editing method to enable detailed local manipulation of videos with significant viewpoint changes. To solve the challenge posed by sparse inputs, we employ image editing methods to generate edited results for the first frame, which are then propagated to the remaining frames of the video. We utilize sketching as an interaction tool for precise geometry control, while other mask-based image editing methods are also supported. To handle viewpoint changes, we perform a detailed analysis and manipulation of the 3D information in the video. Specifically, we utilize a dense stereo method to estimate a point cloud and the camera parameters of the input video. We then propose a point cloud editing approach that uses depth maps to represent the 3D geometry of newly edited components, aligning them effectively with the original 3D scene. To seamlessly merge the newly edited content with the original video while preserving the features of unedited regions, we introduce a 3D-aware mask propagation strategy and employ a video diffusion model to produce realistic edited videos. Extensive experiments demonstrate the superiority of Sketch3DVE in video editing. Homepage and code: http://http://geometrylearning.com/Sketch3DVE/