Qualquer Coisa em Qualquer Cena: Inserção Fotorealística de Objetos em Vídeo

Anything in Any Scene: Photorealistic Video Object Insertion

January 30, 2024

Autores: Chen Bai, Zeman Shao, Guoxiang Zhang, Di Liang, Jie Yang, Zhuorui Zhang, Yujian Guo, Chengzhang Zhong, Yiqiao Qiu, Zhendong Wang, Yichen Guan, Xiaoyin Zheng, Tao Wang, Cheng Lu

cs.AI

Resumo

A simulação realista de vídeo tem demonstrado um potencial significativo em diversas aplicações, desde realidade virtual até produção cinematográfica. Isso é particularmente verdadeiro para cenários em que a captura de vídeos em ambientes do mundo real é impraticável ou cara. As abordagens existentes em simulação de vídeo frequentemente falham em modelar com precisão o ambiente de iluminação, representar a geometria dos objetos ou alcançar altos níveis de fotorrealismo. Neste artigo, propomos o Anything in Any Scene, uma estrutura nova e genérica para simulação realista de vídeo que insere perfeitamente qualquer objeto em um vídeo dinâmico existente, com forte ênfase no realismo físico. Nossa estrutura proposta abrange três processos principais: 1) integrar um objeto realista em um vídeo de cena dado, com posicionamento adequado para garantir o realismo geométrico; 2) estimar a distribuição do céu e da iluminação ambiental e simular sombras realistas para aprimorar o realismo da luz; 3) empregar uma rede de transferência de estilo que refina o vídeo final para maximizar o fotorrealismo. Demonstramos experimentalmente que a estrutura Anything in Any Scene produz vídeos simulados com grande realismo geométrico, de iluminação e fotorrealismo. Ao mitigar significativamente os desafios associados à geração de dados de vídeo, nossa estrutura oferece uma solução eficiente e econômica para a aquisição de vídeos de alta qualidade. Além disso, suas aplicações vão muito além da ampliação de dados de vídeo, mostrando potencial promissor em realidade virtual, edição de vídeo e várias outras aplicações centradas em vídeo. Por favor, visite nosso site do projeto https://anythinginanyscene.github.io para acessar o código do projeto e mais resultados de vídeo em alta resolução.

English

Realistic video simulation has shown significant potential across diverse applications, from virtual reality to film production. This is particularly true for scenarios where capturing videos in real-world settings is either impractical or expensive. Existing approaches in video simulation often fail to accurately model the lighting environment, represent the object geometry, or achieve high levels of photorealism. In this paper, we propose Anything in Any Scene, a novel and generic framework for realistic video simulation that seamlessly inserts any object into an existing dynamic video with a strong emphasis on physical realism. Our proposed general framework encompasses three key processes: 1) integrating a realistic object into a given scene video with proper placement to ensure geometric realism; 2) estimating the sky and environmental lighting distribution and simulating realistic shadows to enhance the light realism; 3) employing a style transfer network that refines the final video output to maximize photorealism. We experimentally demonstrate that Anything in Any Scene framework produces simulated videos of great geometric realism, lighting realism, and photorealism. By significantly mitigating the challenges associated with video data generation, our framework offers an efficient and cost-effective solution for acquiring high-quality videos. Furthermore, its applications extend well beyond video data augmentation, showing promising potential in virtual reality, video editing, and various other video-centric applications. Please check our project website https://anythinginanyscene.github.io for access to our project code and more high-resolution video results.