NeRFs dynamiques pour les scènes de football

Dynamic NeRFs for Soccer Scenes

September 13, 2023

Auteurs: Sacha Lewin, Maxime Vandegar, Thomas Hoyoux, Olivier Barnich, Gilles Louppe

cs.AI

Résumé

Le problème de longue date de la synthèse de nouvelles vues trouve de nombreuses applications, notamment dans la diffusion sportive. La synthèse photoréaliste de nouvelles vues d'actions de football, en particulier, suscite un intérêt considérable dans l'industrie de la diffusion. Pourtant, seules quelques solutions industrielles ont été proposées, et encore moins atteignent une qualité proche de celle des diffusions pour les replays synthétiques. À l'exception de leur configuration de plusieurs caméras statiques autour du terrain de jeu, les meilleurs systèmes propriétaires ne divulguent quasiment aucune information sur leur fonctionnement interne. L'utilisation de plusieurs caméras statiques pour une telle tâche représente en effet un défi rarement abordé dans la littérature, en raison du manque de jeux de données publics : la reconstruction d'un environnement à grande échelle, principalement statique, avec des éléments petits et en mouvement rapide. Récemment, l'émergence des champs de radiance neuronaux a entraîné des progrès impressionnants dans de nombreuses applications de synthèse de nouvelles vues, exploitant les principes de l'apprentissage profond pour produire des résultats photoréalistes dans les contextes les plus difficiles. Dans ce travail, nous étudions la faisabilité de baser une solution à cette tâche sur des NeRFs dynamiques, c'est-à-dire des modèles neuronaux destinés à reconstruire du contenu dynamique général. Nous composons des environnements de football synthétiques et menons plusieurs expériences en les utilisant, identifiant les composants clés qui aident à reconstruire des scènes de football avec des NeRFs dynamiques. Nous montrons que, bien que cette approche ne puisse pas entièrement répondre aux exigences de qualité pour l'application cible, elle suggère des pistes prometteuses vers une solution automatisée et rentable. Nous rendons également notre jeu de données et notre code publics, dans le but d'encourager d'autres efforts de la communauté de recherche sur la tâche de synthèse de nouvelles vues pour des scènes de football dynamiques. Pour le code, les données et les résultats vidéo, veuillez consulter https://soccernerfs.isach.be.

English

The long-standing problem of novel view synthesis has many applications, notably in sports broadcasting. Photorealistic novel view synthesis of soccer actions, in particular, is of enormous interest to the broadcast industry. Yet only a few industrial solutions have been proposed, and even fewer that achieve near-broadcast quality of the synthetic replays. Except for their setup of multiple static cameras around the playfield, the best proprietary systems disclose close to no information about their inner workings. Leveraging multiple static cameras for such a task indeed presents a challenge rarely tackled in the literature, for a lack of public datasets: the reconstruction of a large-scale, mostly static environment, with small, fast-moving elements. Recently, the emergence of neural radiance fields has induced stunning progress in many novel view synthesis applications, leveraging deep learning principles to produce photorealistic results in the most challenging settings. In this work, we investigate the feasibility of basing a solution to the task on dynamic NeRFs, i.e., neural models purposed to reconstruct general dynamic content. We compose synthetic soccer environments and conduct multiple experiments using them, identifying key components that help reconstruct soccer scenes with dynamic NeRFs. We show that, although this approach cannot fully meet the quality requirements for the target application, it suggests promising avenues toward a cost-efficient, automatic solution. We also make our work dataset and code publicly available, with the goal to encourage further efforts from the research community on the task of novel view synthesis for dynamic soccer scenes. For code, data, and video results, please see https://soccernerfs.isach.be.