Cualquier cosa en cualquier escena: Inserción de objetos fotorealistas en video

Anything in Any Scene: Photorealistic Video Object Insertion

January 30, 2024

Autores: Chen Bai, Zeman Shao, Guoxiang Zhang, Di Liang, Jie Yang, Zhuorui Zhang, Yujian Guo, Chengzhang Zhong, Yiqiao Qiu, Zhendong Wang, Yichen Guan, Xiaoyin Zheng, Tao Wang, Cheng Lu

cs.AI

Resumen

La simulación de videos realistas ha demostrado un potencial significativo en diversas aplicaciones, desde la realidad virtual hasta la producción cinematográfica. Esto es especialmente cierto en escenarios donde capturar videos en entornos del mundo real resulta poco práctico o costoso. Los enfoques existentes en la simulación de videos a menudo no logran modelar con precisión el entorno de iluminación, representar la geometría de los objetos o alcanzar altos niveles de fotorrealismo. En este artículo, proponemos "Anything in Any Scene", un marco novedoso y genérico para la simulación de videos realistas que inserta de manera fluida cualquier objeto en un video dinámico existente con un fuerte énfasis en el realismo físico. Nuestro marco general propuesto abarca tres procesos clave: 1) integrar un objeto realista en un video de escena dado con una colocación adecuada para garantizar el realismo geométrico; 2) estimar la distribución del cielo y la iluminación ambiental y simular sombras realistas para mejorar el realismo lumínico; 3) emplear una red de transferencia de estilo que refina el video final para maximizar el fotorrealismo. Demostramos experimentalmente que el marco "Anything in Any Scene" produce videos simulados con un gran realismo geométrico, lumínico y fotorrealista. Al mitigar significativamente los desafíos asociados con la generación de datos de video, nuestro marco ofrece una solución eficiente y rentable para adquirir videos de alta calidad. Además, sus aplicaciones se extienden más allá de la ampliación de datos de video, mostrando un potencial prometedor en realidad virtual, edición de video y diversas otras aplicaciones centradas en video. Por favor, visite nuestro sitio web del proyecto https://anythinginanyscene.github.io para acceder al código del proyecto y más resultados de video en alta resolución.

English

Realistic video simulation has shown significant potential across diverse applications, from virtual reality to film production. This is particularly true for scenarios where capturing videos in real-world settings is either impractical or expensive. Existing approaches in video simulation often fail to accurately model the lighting environment, represent the object geometry, or achieve high levels of photorealism. In this paper, we propose Anything in Any Scene, a novel and generic framework for realistic video simulation that seamlessly inserts any object into an existing dynamic video with a strong emphasis on physical realism. Our proposed general framework encompasses three key processes: 1) integrating a realistic object into a given scene video with proper placement to ensure geometric realism; 2) estimating the sky and environmental lighting distribution and simulating realistic shadows to enhance the light realism; 3) employing a style transfer network that refines the final video output to maximize photorealism. We experimentally demonstrate that Anything in Any Scene framework produces simulated videos of great geometric realism, lighting realism, and photorealism. By significantly mitigating the challenges associated with video data generation, our framework offers an efficient and cost-effective solution for acquiring high-quality videos. Furthermore, its applications extend well beyond video data augmentation, showing promising potential in virtual reality, video editing, and various other video-centric applications. Please check our project website https://anythinginanyscene.github.io for access to our project code and more high-resolution video results.