Вставка фотореалистичных объектов в видео в любом окружении

Anything in Any Scene: Photorealistic Video Object Insertion

January 30, 2024

Авторы: Chen Bai, Zeman Shao, Guoxiang Zhang, Di Liang, Jie Yang, Zhuorui Zhang, Yujian Guo, Chengzhang Zhong, Yiqiao Qiu, Zhendong Wang, Yichen Guan, Xiaoyin Zheng, Tao Wang, Cheng Lu

cs.AI

Аннотация

Реалистичная симуляция видео демонстрирует значительный потенциал в различных областях, от виртуальной реальности до кинопроизводства. Это особенно актуально для сценариев, где съемка видео в реальных условиях либо непрактична, либо дорогостояща. Существующие подходы к симуляции видео часто не способны точно моделировать освещение, воспроизводить геометрию объектов или достигать высокого уровня фотореализма. В данной статье мы представляем Anything in Any Scene — новый и универсальный фреймворк для реалистичной симуляции видео, который бесшовно интегрирует любой объект в существующее динамическое видео с акцентом на физическую реалистичность. Наш фреймворк включает три ключевых процесса: 1) интеграцию реалистичного объекта в заданное видео сцены с правильным размещением для обеспечения геометрической реалистичности; 2) оценку распределения освещения от неба и окружающей среды, а также симуляцию реалистичных теней для повышения реалистичности освещения; 3) использование сети переноса стиля, которая улучшает итоговое видео для достижения максимального фотореализма. Экспериментально мы демонстрируем, что фреймворк Anything in Any Scene создает симулированные видео с высокой геометрической реалистичностью, реалистичностью освещения и фотореализмом. Значительно снижая сложности, связанные с генерацией видеоданных, наш фреймворк предлагает эффективное и экономичное решение для получения высококачественных видео. Кроме того, его применение выходит далеко за рамки расширения видеоданных, демонстрируя перспективный потенциал в виртуальной реальности, видеомонтаже и других видеоцентричных приложениях. Посетите наш проект по адресу https://anythinginanyscene.github.io для доступа к коду проекта и дополнительным результатам в высоком разрешении.

English

Realistic video simulation has shown significant potential across diverse applications, from virtual reality to film production. This is particularly true for scenarios where capturing videos in real-world settings is either impractical or expensive. Existing approaches in video simulation often fail to accurately model the lighting environment, represent the object geometry, or achieve high levels of photorealism. In this paper, we propose Anything in Any Scene, a novel and generic framework for realistic video simulation that seamlessly inserts any object into an existing dynamic video with a strong emphasis on physical realism. Our proposed general framework encompasses three key processes: 1) integrating a realistic object into a given scene video with proper placement to ensure geometric realism; 2) estimating the sky and environmental lighting distribution and simulating realistic shadows to enhance the light realism; 3) employing a style transfer network that refines the final video output to maximize photorealism. We experimentally demonstrate that Anything in Any Scene framework produces simulated videos of great geometric realism, lighting realism, and photorealism. By significantly mitigating the challenges associated with video data generation, our framework offers an efficient and cost-effective solution for acquiring high-quality videos. Furthermore, its applications extend well beyond video data augmentation, showing promising potential in virtual reality, video editing, and various other video-centric applications. Please check our project website https://anythinginanyscene.github.io for access to our project code and more high-resolution video results.