Sketch3DVE: Редактирование 3D-сцен на основе эскизов в видео

Sketch3DVE: Sketch-based 3D-Aware Scene Video Editing

August 19, 2025

Авторы: Feng-Lin Liu, Shi-Yang Li, Yan-Pei Cao, Hongbo Fu, Lin Gao

cs.AI

Аннотация

Современные методы редактирования видео достигают привлекательных результатов в переносе стиля или изменении внешнего вида. Однако редактирование структурного содержания 3D-сцен в видео остается сложной задачей, особенно при работе с значительными изменениями точки зрения, такими как большие повороты камеры или масштабирование. Основные проблемы включают генерацию нового контента, который остается согласованным с оригинальным видео, сохранение неотредактированных областей и преобразование разреженных 2D-входных данных в реалистичные 3D-видео. Для решения этих задач мы предлагаем Sketch3DVE — метод редактирования видео на основе эскизов с учетом 3D, который позволяет выполнять детальное локальное редактирование видео с значительными изменениями точки зрения. Чтобы справиться с проблемой разреженных входных данных, мы используем методы редактирования изображений для генерации отредактированных результатов для первого кадра, которые затем распространяются на оставшиеся кадры видео. Мы применяем эскизирование как инструмент взаимодействия для точного управления геометрией, при этом также поддерживаются другие методы редактирования изображений на основе масок. Для обработки изменений точки зрения мы проводим детальный анализ и манипуляции с 3D-информацией в видео. В частности, мы используем метод плотного стерео для оценки облака точек и параметров камеры входного видео. Затем мы предлагаем подход к редактированию облака точек, который использует карты глубины для представления 3D-геометрии новых отредактированных компонентов, эффективно согласовывая их с оригинальной 3D-сценой. Для бесшовного объединения нового контента с оригинальным видео при сохранении особенностей неотредактированных областей мы вводим стратегию распространения масок с учетом 3D и используем модель диффузии видео для создания реалистичных отредактированных видео. Многочисленные эксперименты демонстрируют превосходство Sketch3DVE в редактировании видео. Домашняя страница и код: http://geometrylearning.com/Sketch3DVE/.

English

Recent video editing methods achieve attractive results in style transfer or appearance modification. However, editing the structural content of 3D scenes in videos remains challenging, particularly when dealing with significant viewpoint changes, such as large camera rotations or zooms. Key challenges include generating novel view content that remains consistent with the original video, preserving unedited regions, and translating sparse 2D inputs into realistic 3D video outputs. To address these issues, we propose Sketch3DVE, a sketch-based 3D-aware video editing method to enable detailed local manipulation of videos with significant viewpoint changes. To solve the challenge posed by sparse inputs, we employ image editing methods to generate edited results for the first frame, which are then propagated to the remaining frames of the video. We utilize sketching as an interaction tool for precise geometry control, while other mask-based image editing methods are also supported. To handle viewpoint changes, we perform a detailed analysis and manipulation of the 3D information in the video. Specifically, we utilize a dense stereo method to estimate a point cloud and the camera parameters of the input video. We then propose a point cloud editing approach that uses depth maps to represent the 3D geometry of newly edited components, aligning them effectively with the original 3D scene. To seamlessly merge the newly edited content with the original video while preserving the features of unedited regions, we introduce a 3D-aware mask propagation strategy and employ a video diffusion model to produce realistic edited videos. Extensive experiments demonstrate the superiority of Sketch3DVE in video editing. Homepage and code: http://http://geometrylearning.com/Sketch3DVE/