Динамические NeRF для футбольных сцен

Аннотация

Долгое время проблема синтеза новых ракурсов имела множество применений, особенно в спортивном вещании. Фотореалистичный синтез новых ракурсов для футбольных действий, в частности, представляет огромный интерес для индустрии телевещания. Однако было предложено лишь несколько промышленных решений, и ещё меньше тех, которые достигают качества, близкого к телевизионному, для синтетических повторов. За исключением их конфигурации с использованием множества статических камер вокруг поля, лучшие проприетарные системы практически не раскрывают информации о своей внутренней работе. Использование множества статических камер для такой задачи действительно представляет собой вызов, редко рассматриваемый в литературе из-за отсутствия публичных наборов данных: восстановление крупномасштабной, в основном статичной среды с небольшими, быстро движущимися элементами. Недавно появление нейронных полей излучения (NeRF) привело к впечатляющему прогрессу во многих приложениях синтеза новых ракурсов, используя принципы глубокого обучения для достижения фотореалистичных результатов в самых сложных условиях. В данной работе мы исследуем возможность создания решения задачи на основе динамических NeRF, то есть нейронных моделей, предназначенных для восстановления общего динамического контента. Мы создаём синтетические футбольные среды и проводим множество экспериментов с их использованием, выявляя ключевые компоненты, которые помогают восстанавливать футбольные сцены с помощью динамических NeRF. Мы показываем, что, хотя этот подход не может полностью соответствовать требованиям к качеству для целевого применения, он предлагает перспективные пути к созданию экономически эффективного автоматического решения. Мы также делаем наш набор данных и код общедоступными с целью стимулировать дальнейшие усилия исследовательского сообщества в области синтеза новых ракурсов для динамических футбольных сцен. Для получения кода, данных и видеорезультатов посетите https://soccernerfs.isach.be.

English

The long-standing problem of novel view synthesis has many applications, notably in sports broadcasting. Photorealistic novel view synthesis of soccer actions, in particular, is of enormous interest to the broadcast industry. Yet only a few industrial solutions have been proposed, and even fewer that achieve near-broadcast quality of the synthetic replays. Except for their setup of multiple static cameras around the playfield, the best proprietary systems disclose close to no information about their inner workings. Leveraging multiple static cameras for such a task indeed presents a challenge rarely tackled in the literature, for a lack of public datasets: the reconstruction of a large-scale, mostly static environment, with small, fast-moving elements. Recently, the emergence of neural radiance fields has induced stunning progress in many novel view synthesis applications, leveraging deep learning principles to produce photorealistic results in the most challenging settings. In this work, we investigate the feasibility of basing a solution to the task on dynamic NeRFs, i.e., neural models purposed to reconstruct general dynamic content. We compose synthetic soccer environments and conduct multiple experiments using them, identifying key components that help reconstruct soccer scenes with dynamic NeRFs. We show that, although this approach cannot fully meet the quality requirements for the target application, it suggests promising avenues toward a cost-efficient, automatic solution. We also make our work dataset and code publicly available, with the goal to encourage further efforts from the research community on the task of novel view synthesis for dynamic soccer scenes. For code, data, and video results, please see https://soccernerfs.isach.be.

Динамические NeRF для футбольных сцен

Dynamic NeRFs for Soccer Scenes

Аннотация

Support