NeRFs Dinámicos para Escenas de Fútbol

Resumen

El problema de larga data de la síntesis de nuevas vistas tiene muchas aplicaciones, destacando especialmente en la transmisión deportiva. La síntesis fotorrealista de nuevas vistas de acciones de fútbol, en particular, es de enorme interés para la industria de la radiodifusión. Sin embargo, solo se han propuesto unas pocas soluciones industriales, y aún menos que logran una calidad cercana a la de transmisión en las repeticiones sintéticas. A excepción de su configuración de múltiples cámaras estáticas alrededor del campo de juego, los mejores sistemas propietarios revelan casi ninguna información sobre su funcionamiento interno. Aprovechar múltiples cámaras estáticas para tal tarea presenta, de hecho, un desafío raramente abordado en la literatura, debido a la falta de conjuntos de datos públicos: la reconstrucción de un entorno a gran escala, mayormente estático, con elementos pequeños y de movimiento rápido. Recientemente, la aparición de los campos de radiancia neural ha impulsado un progreso asombroso en muchas aplicaciones de síntesis de nuevas vistas, aprovechando los principios del aprendizaje profundo para producir resultados fotorrealistas en los entornos más desafiantes. En este trabajo, investigamos la viabilidad de basar una solución para esta tarea en NeRFs dinámicos, es decir, modelos neurales diseñados para reconstruir contenido dinámico general. Componemos entornos sintéticos de fútbol y realizamos múltiples experimentos utilizando estos, identificando componentes clave que ayudan a reconstruir escenas de fútbol con NeRFs dinámicos. Demostramos que, aunque este enfoque no puede cumplir completamente con los requisitos de calidad para la aplicación objetivo, sugiere vías prometedoras hacia una solución automática y rentable. También ponemos a disposición pública nuestro conjunto de datos y código, con el objetivo de fomentar mayores esfuerzos de la comunidad de investigación en la tarea de síntesis de nuevas vistas para escenas dinámicas de fútbol. Para el código, datos y resultados en video, por favor visite https://soccernerfs.isach.be.

English

The long-standing problem of novel view synthesis has many applications, notably in sports broadcasting. Photorealistic novel view synthesis of soccer actions, in particular, is of enormous interest to the broadcast industry. Yet only a few industrial solutions have been proposed, and even fewer that achieve near-broadcast quality of the synthetic replays. Except for their setup of multiple static cameras around the playfield, the best proprietary systems disclose close to no information about their inner workings. Leveraging multiple static cameras for such a task indeed presents a challenge rarely tackled in the literature, for a lack of public datasets: the reconstruction of a large-scale, mostly static environment, with small, fast-moving elements. Recently, the emergence of neural radiance fields has induced stunning progress in many novel view synthesis applications, leveraging deep learning principles to produce photorealistic results in the most challenging settings. In this work, we investigate the feasibility of basing a solution to the task on dynamic NeRFs, i.e., neural models purposed to reconstruct general dynamic content. We compose synthetic soccer environments and conduct multiple experiments using them, identifying key components that help reconstruct soccer scenes with dynamic NeRFs. We show that, although this approach cannot fully meet the quality requirements for the target application, it suggests promising avenues toward a cost-efficient, automatic solution. We also make our work dataset and code publicly available, with the goal to encourage further efforts from the research community on the task of novel view synthesis for dynamic soccer scenes. For code, data, and video results, please see https://soccernerfs.isach.be.

NeRFs Dinámicos para Escenas de Fútbol

Dynamic NeRFs for Soccer Scenes

Resumen

Support