Alles in Elke Scene: Fotorealistische Video-objectinvoeging

Anything in Any Scene: Photorealistic Video Object Insertion

January 30, 2024

Auteurs: Chen Bai, Zeman Shao, Guoxiang Zhang, Di Liang, Jie Yang, Zhuorui Zhang, Yujian Guo, Chengzhang Zhong, Yiqiao Qiu, Zhendong Wang, Yichen Guan, Xiaoyin Zheng, Tao Wang, Cheng Lu

cs.AI

Samenvatting

Realistische videosimulatie heeft aanzienlijk potentieel getoond in diverse toepassingen, van virtual reality tot filmproductie. Dit geldt vooral voor scenario's waarin het vastleggen van video's in realistische omgevingen onpraktisch of kostbaar is. Bestaande benaderingen in videosimulatie slagen er vaak niet in om de lichtomgeving nauwkeurig te modelleren, de objectgeometrie correct weer te geven of een hoog niveau van fotorealisme te bereiken. In dit artikel stellen we Anything in Any Scene voor, een nieuw en generiek raamwerk voor realistische videosimulatie dat naadloos elk object in een bestaande dynamische video plaatst met een sterke nadruk op fysiek realisme. Ons voorgestelde algemene raamwerk omvat drie belangrijke processen: 1) het integreren van een realistisch object in een gegeven scènevideo met de juiste plaatsing om geometrisch realisme te waarborgen; 2) het schatten van de hemel- en omgevingslichtverdeling en het simuleren van realistische schaduwen om het lichtrealisme te verbeteren; 3) het inzetten van een stijloverdrachtsnetwerk dat de uiteindelijke video-output verfijnt om het fotorealisme te maximaliseren. We demonstreren experimenteel dat het Anything in Any Scene-raamwerk gesimuleerde video's produceert met een hoog niveau van geometrisch realisme, lichtrealisme en fotorealisme. Door de uitdagingen die gepaard gaan met videodatageneratie aanzienlijk te verminderen, biedt ons raamwerk een efficiënte en kosteneffectieve oplossing voor het verkrijgen van hoogwaardige video's. Bovendien strekken de toepassingen ervan zich uit tot ver buiten videodata-augmentatie, met veelbelovend potentieel in virtual reality, videobewerking en diverse andere video-gerichte toepassingen. Bezoek onze projectwebsite https://anythinginanyscene.github.io voor toegang tot onze projectcode en meer hoogwaardige videoresultaten.

English

Realistic video simulation has shown significant potential across diverse applications, from virtual reality to film production. This is particularly true for scenarios where capturing videos in real-world settings is either impractical or expensive. Existing approaches in video simulation often fail to accurately model the lighting environment, represent the object geometry, or achieve high levels of photorealism. In this paper, we propose Anything in Any Scene, a novel and generic framework for realistic video simulation that seamlessly inserts any object into an existing dynamic video with a strong emphasis on physical realism. Our proposed general framework encompasses three key processes: 1) integrating a realistic object into a given scene video with proper placement to ensure geometric realism; 2) estimating the sky and environmental lighting distribution and simulating realistic shadows to enhance the light realism; 3) employing a style transfer network that refines the final video output to maximize photorealism. We experimentally demonstrate that Anything in Any Scene framework produces simulated videos of great geometric realism, lighting realism, and photorealism. By significantly mitigating the challenges associated with video data generation, our framework offers an efficient and cost-effective solution for acquiring high-quality videos. Furthermore, its applications extend well beyond video data augmentation, showing promising potential in virtual reality, video editing, and various other video-centric applications. Please check our project website https://anythinginanyscene.github.io for access to our project code and more high-resolution video results.