DreamCinema: Кинематографический перенос с свободной камерой и 3D-персонажем

DreamCinema: Cinematic Transfer with Free Camera and 3D Character

August 22, 2024

Авторы: Weiliang Chen, Fangfu Liu, Diankun Wu, Haowen Sun, Haixu Song, Yueqi Duan

cs.AI

Аннотация

Мы живем в процветающую эпоху цифровых медиа, где каждый имеет потенциал стать личным кинорежиссером. Текущие исследования по кинематографическому трансферу дает возможность кинорежиссерам воспроизводить и манипулировать визуальными элементами (например, кинематографией и поведением персонажей) из классических сцен. Однако персонажи в переосмысленных фильмах все еще требуют ручной работы, что включает значительную техническую сложность и высокие затраты, делая это недоступным для обычных пользователей. Более того, их оцененная кинематография лишена плавности из-за недостаточного захвата межкадрового движения и моделирования физических траекторий. К счастью, выдающийся успех 2D и 3D AIGC открыл возможность эффективного создания персонажей, адаптированных к потребностям пользователей, разнообразия кинематографии. В данной статье мы предлагаем DreamCinema, новую кинематографическую платформу, которая внедряет генеративное искусственное интеллекта в парадигму кино-производства, нацеленную на облегчение создания фильмов для пользователей. Конкретно, мы сначала извлекаем кинематографические элементы (т.е. позы человека и камеры) и оптимизируем траекторию камеры. Затем мы применяем генератор персонажей для эффективного создания 3D-персонажей высокого качества с человеческой структурой. Наконец, мы разрабатываем стратегию передачи движения с управляемой структурой для интеграции созданных персонажей в создание фильма и плавную передачу его через 3D-графические движки. Обширные эксперименты демонстрируют эффективность нашего метода для создания высококачественных фильмов с свободной камерой и 3D-персонажами.

English

We are living in a flourishing era of digital media, where everyone has the potential to become a personal filmmaker. Current research on cinematic transfer empowers filmmakers to reproduce and manipulate the visual elements (e.g., cinematography and character behaviors) from classic shots. However, characters in the reimagined films still rely on manual crafting, which involves significant technical complexity and high costs, making it unattainable for ordinary users. Furthermore, their estimated cinematography lacks smoothness due to inadequate capturing of inter-frame motion and modeling of physical trajectories. Fortunately, the remarkable success of 2D and 3D AIGC has opened up the possibility of efficiently generating characters tailored to users' needs, diversifying cinematography. In this paper, we propose DreamCinema, a novel cinematic transfer framework that pioneers generative AI into the film production paradigm, aiming at facilitating user-friendly film creation. Specifically, we first extract cinematic elements (i.e., human and camera pose) and optimize the camera trajectory. Then, we apply a character generator to efficiently create 3D high-quality characters with a human structure prior. Finally, we develop a structure-guided motion transfer strategy to incorporate generated characters into film creation and transfer it via 3D graphics engines smoothly. Extensive experiments demonstrate the effectiveness of our method for creating high-quality films with free camera and 3D characters.