N'importe quoi dans n'importe quelle scène : Insertion photoréaliste d'objets dans des vidéos

papers.abstract

La simulation vidéo réaliste a démontré un potentiel significatif dans diverses applications, allant de la réalité virtuelle à la production cinématographique. Cela est particulièrement vrai pour les scénarios où la capture de vidéos dans des environnements réels est soit impraticable, soit coûteuse. Les approches existantes en simulation vidéo échouent souvent à modéliser avec précision l'environnement lumineux, à représenter la géométrie des objets ou à atteindre un haut niveau de photoréalisme. Dans cet article, nous proposons Anything in Any Scene, un cadre novateur et générique pour la simulation vidéo réaliste qui intègre de manière fluide tout objet dans une vidéo dynamique existante, en mettant l'accent sur le réalisme physique. Notre cadre général proposé englobe trois processus clés : 1) l'intégration d'un objet réaliste dans une vidéo de scène donnée avec un placement approprié pour assurer un réalisme géométrique ; 2) l'estimation de la distribution lumineuse du ciel et de l'environnement, ainsi que la simulation d'ombres réalistes pour renforcer le réalisme lumineux ; 3) l'utilisation d'un réseau de transfert de style qui affine la vidéo finale pour maximiser le photoréalisme. Nous démontrons expérimentalement que le cadre Anything in Any Scene produit des vidéos simulées d'un grand réalisme géométrique, lumineux et photoréaliste. En atténuant de manière significative les défis associés à la génération de données vidéo, notre cadre offre une solution efficace et économique pour acquérir des vidéos de haute qualité. De plus, ses applications s'étendent bien au-delà de l'augmentation de données vidéo, montrant un potentiel prometteur dans la réalité virtuelle, le montage vidéo et diverses autres applications centrées sur la vidéo. Veuillez consulter notre site web de projet https://anythinginanyscene.github.io pour accéder à notre code de projet et à davantage de résultats vidéo en haute résolution.

English

Realistic video simulation has shown significant potential across diverse applications, from virtual reality to film production. This is particularly true for scenarios where capturing videos in real-world settings is either impractical or expensive. Existing approaches in video simulation often fail to accurately model the lighting environment, represent the object geometry, or achieve high levels of photorealism. In this paper, we propose Anything in Any Scene, a novel and generic framework for realistic video simulation that seamlessly inserts any object into an existing dynamic video with a strong emphasis on physical realism. Our proposed general framework encompasses three key processes: 1) integrating a realistic object into a given scene video with proper placement to ensure geometric realism; 2) estimating the sky and environmental lighting distribution and simulating realistic shadows to enhance the light realism; 3) employing a style transfer network that refines the final video output to maximize photorealism. We experimentally demonstrate that Anything in Any Scene framework produces simulated videos of great geometric realism, lighting realism, and photorealism. By significantly mitigating the challenges associated with video data generation, our framework offers an efficient and cost-effective solution for acquiring high-quality videos. Furthermore, its applications extend well beyond video data augmentation, showing promising potential in virtual reality, video editing, and various other video-centric applications. Please check our project website https://anythinginanyscene.github.io for access to our project code and more high-resolution video results.

N'importe quoi dans n'importe quelle scène : Insertion photoréaliste d'objets dans des vidéos

Anything in Any Scene: Photorealistic Video Object Insertion

papers.abstract

Support