Alles in jeder Szene: Fotorealistische Videoobjekteinfügung

Anything in Any Scene: Photorealistic Video Object Insertion

January 30, 2024

Autoren: Chen Bai, Zeman Shao, Guoxiang Zhang, Di Liang, Jie Yang, Zhuorui Zhang, Yujian Guo, Chengzhang Zhong, Yiqiao Qiu, Zhendong Wang, Yichen Guan, Xiaoyin Zheng, Tao Wang, Cheng Lu

cs.AI

Zusammenfassung

Realistische Videosimulation hat ein erhebliches Potenzial in verschiedenen Anwendungsbereichen gezeigt, von der virtuellen Realität bis hin zur Filmproduktion. Dies gilt insbesondere für Szenarien, in denen die Aufnahme von Videos in realen Umgebungen unpraktisch oder kostspielig ist. Bestehende Ansätze in der Videosimulation scheitern oft daran, die Beleuchtungsumgebung präzise zu modellieren, die Objektgeometrie korrekt darzustellen oder ein hohes Maß an Fotorealismus zu erreichen. In diesem Artikel stellen wir Anything in Any Scene vor, ein neuartiges und generisches Framework für realistische Videosimulation, das nahtlos jedes Objekt in ein bestehendes dynamisches Video einfügt, wobei ein besonderer Schwerpunkt auf physikalischem Realismus liegt. Unser vorgeschlagenes allgemeines Framework umfasst drei Schlüsselprozesse: 1) die Integration eines realistischen Objekts in ein gegebenes Szenenvideo mit korrekter Platzierung, um geometrischen Realismus zu gewährleisten; 2) die Schätzung der Himmels- und Umgebungsbeleuchtungsverteilung sowie die Simulation realistischer Schatten, um den Lichtrealismus zu verbessern; 3) die Verwendung eines Stiltransfer-Netzwerks, das das endgültige Videoausgabesignal verfeinert, um den Fotorealismus zu maximieren. Wir demonstrieren experimentell, dass das Anything in Any Scene Framework simulierte Videos mit hohem geometrischem Realismus, Lichtrealismus und Fotorealismus erzeugt. Indem es die Herausforderungen im Zusammenhang mit der Videodatengenerierung erheblich reduziert, bietet unser Framework eine effiziente und kostengünstige Lösung zur Beschaffung hochwertiger Videos. Darüber hinaus reichen seine Anwendungen weit über die Videodatenaugmentation hinaus und zeigen vielversprechendes Potenzial in der virtuellen Realität, Videobearbeitung und verschiedenen anderen videobasierten Anwendungen. Bitte besuchen Sie unsere Projektwebsite https://anythinginanyscene.github.io, um auf unseren Projektcode und weitere hochauflösende Videoergebnisse zuzugreifen.

English

Realistic video simulation has shown significant potential across diverse applications, from virtual reality to film production. This is particularly true for scenarios where capturing videos in real-world settings is either impractical or expensive. Existing approaches in video simulation often fail to accurately model the lighting environment, represent the object geometry, or achieve high levels of photorealism. In this paper, we propose Anything in Any Scene, a novel and generic framework for realistic video simulation that seamlessly inserts any object into an existing dynamic video with a strong emphasis on physical realism. Our proposed general framework encompasses three key processes: 1) integrating a realistic object into a given scene video with proper placement to ensure geometric realism; 2) estimating the sky and environmental lighting distribution and simulating realistic shadows to enhance the light realism; 3) employing a style transfer network that refines the final video output to maximize photorealism. We experimentally demonstrate that Anything in Any Scene framework produces simulated videos of great geometric realism, lighting realism, and photorealism. By significantly mitigating the challenges associated with video data generation, our framework offers an efficient and cost-effective solution for acquiring high-quality videos. Furthermore, its applications extend well beyond video data augmentation, showing promising potential in virtual reality, video editing, and various other video-centric applications. Please check our project website https://anythinginanyscene.github.io for access to our project code and more high-resolution video results.