Dynamische NeRF's voor Voetbalscènes

Samenvatting

Het lang bestaande probleem van het synthetiseren van nieuwe gezichtspunten heeft vele toepassingen, met name in sportuitzendingen. Fotorealistische synthese van nieuwe gezichtspunten van voetbalacties is van bijzonder groot belang voor de uitzendindustrie. Toch zijn er slechts enkele industriële oplossingen voorgesteld, en nog minder die een bijna-uitzendkwaliteit van de synthetische herhalingen bereiken. Behalve hun opstelling van meerdere statische camera's rond het speelveld, geven de beste propriëtaire systemen vrijwel geen informatie prijs over hun interne werking. Het gebruik van meerdere statische camera's voor een dergelijke taak vormt inderdaad een uitdaging die zelden in de literatuur wordt aangepakt, vanwege een gebrek aan openbare datasets: de reconstructie van een grootschalige, overwegend statische omgeving met kleine, snel bewegende elementen. Recentelijk heeft de opkomst van neurale stralingsvelden (NeRF) indrukwekkende vooruitgang geboekt in veel toepassingen voor het synthetiseren van nieuwe gezichtspunten, waarbij deep learning-principes worden gebruikt om fotorealistische resultaten te produceren in de meest uitdagende omstandigheden. In dit werk onderzoeken we de haalbaarheid van een oplossing voor deze taak op basis van dynamische NeRF's, d.w.z. neurale modellen die bedoeld zijn om algemene dynamische inhoud te reconstrueren. We creëren synthetische voetbalomgevingen en voeren meerdere experimenten uit, waarbij we belangrijke componenten identificeren die helpen bij het reconstrueren van voetbalscènes met dynamische NeRF's. We tonen aan dat, hoewel deze aanpak niet volledig voldoet aan de kwaliteitseisen voor de doeltoepassing, het veelbelovende wegen suggereert naar een kostenefficiënte, automatische oplossing. We stellen ook onze dataset en code openbaar beschikbaar, met als doel verdere inspanningen van de onderzoeksgemeenschap aan te moedigen op het gebied van het synthetiseren van nieuwe gezichtspunten voor dynamische voetbalscènes. Voor code, data en videoresultaten, zie https://soccernerfs.isach.be.

English

The long-standing problem of novel view synthesis has many applications, notably in sports broadcasting. Photorealistic novel view synthesis of soccer actions, in particular, is of enormous interest to the broadcast industry. Yet only a few industrial solutions have been proposed, and even fewer that achieve near-broadcast quality of the synthetic replays. Except for their setup of multiple static cameras around the playfield, the best proprietary systems disclose close to no information about their inner workings. Leveraging multiple static cameras for such a task indeed presents a challenge rarely tackled in the literature, for a lack of public datasets: the reconstruction of a large-scale, mostly static environment, with small, fast-moving elements. Recently, the emergence of neural radiance fields has induced stunning progress in many novel view synthesis applications, leveraging deep learning principles to produce photorealistic results in the most challenging settings. In this work, we investigate the feasibility of basing a solution to the task on dynamic NeRFs, i.e., neural models purposed to reconstruct general dynamic content. We compose synthetic soccer environments and conduct multiple experiments using them, identifying key components that help reconstruct soccer scenes with dynamic NeRFs. We show that, although this approach cannot fully meet the quality requirements for the target application, it suggests promising avenues toward a cost-efficient, automatic solution. We also make our work dataset and code publicly available, with the goal to encourage further efforts from the research community on the task of novel view synthesis for dynamic soccer scenes. For code, data, and video results, please see https://soccernerfs.isach.be.

Dynamische NeRF's voor Voetbalscènes

Dynamic NeRFs for Soccer Scenes

Samenvatting

Support