Sketch3DVE: Edición de videos de escenas 3D conscientes basada en bocetos

Sketch3DVE: Sketch-based 3D-Aware Scene Video Editing

August 19, 2025

Autores: Feng-Lin Liu, Shi-Yang Li, Yan-Pei Cao, Hongbo Fu, Lin Gao

cs.AI

Resumen

Los métodos recientes de edición de video logran resultados atractivos en la transferencia de estilos o la modificación de la apariencia. Sin embargo, editar el contenido estructural de escenas 3D en videos sigue siendo un desafío, particularmente al tratar con cambios significativos de perspectiva, como grandes rotaciones de cámara o zooms. Los principales desafíos incluyen generar contenido de nuevas vistas que sea consistente con el video original, preservar las regiones no editadas y traducir entradas 2D dispersas en salidas de video 3D realistas. Para abordar estos problemas, proponemos Sketch3DVE, un método de edición de video 3D basado en bocetos que permite la manipulación local detallada de videos con cambios significativos de perspectiva. Para resolver el desafío planteado por las entradas dispersas, empleamos métodos de edición de imágenes para generar resultados editados en el primer fotograma, los cuales luego se propagan a los fotogramas restantes del video. Utilizamos el boceto como una herramienta de interacción para un control preciso de la geometría, mientras que también se admiten otros métodos de edición de imágenes basados en máscaras. Para manejar los cambios de perspectiva, realizamos un análisis y manipulación detallados de la información 3D en el video. Específicamente, utilizamos un método de estereoscopía densa para estimar una nube de puntos y los parámetros de la cámara del video de entrada. Luego, proponemos un enfoque de edición de nubes de puntos que utiliza mapas de profundidad para representar la geometría 3D de los componentes recién editados, alineándolos efectivamente con la escena 3D original. Para fusionar de manera fluida el contenido recién editado con el video original mientras se preservan las características de las regiones no editadas, introducimos una estrategia de propagación de máscaras 3D y empleamos un modelo de difusión de video para producir videos editados realistas. Experimentos extensos demuestran la superioridad de Sketch3DVE en la edición de videos. Página de inicio y código: http://geometrylearning.com/Sketch3DVE/.

English

Recent video editing methods achieve attractive results in style transfer or appearance modification. However, editing the structural content of 3D scenes in videos remains challenging, particularly when dealing with significant viewpoint changes, such as large camera rotations or zooms. Key challenges include generating novel view content that remains consistent with the original video, preserving unedited regions, and translating sparse 2D inputs into realistic 3D video outputs. To address these issues, we propose Sketch3DVE, a sketch-based 3D-aware video editing method to enable detailed local manipulation of videos with significant viewpoint changes. To solve the challenge posed by sparse inputs, we employ image editing methods to generate edited results for the first frame, which are then propagated to the remaining frames of the video. We utilize sketching as an interaction tool for precise geometry control, while other mask-based image editing methods are also supported. To handle viewpoint changes, we perform a detailed analysis and manipulation of the 3D information in the video. Specifically, we utilize a dense stereo method to estimate a point cloud and the camera parameters of the input video. We then propose a point cloud editing approach that uses depth maps to represent the 3D geometry of newly edited components, aligning them effectively with the original 3D scene. To seamlessly merge the newly edited content with the original video while preserving the features of unedited regions, we introduce a 3D-aware mask propagation strategy and employ a video diffusion model to produce realistic edited videos. Extensive experiments demonstrate the superiority of Sketch3DVE in video editing. Homepage and code: http://http://geometrylearning.com/Sketch3DVE/