NeRF dinamici per scene di calcio

Abstract

Il problema di lunga data della sintesi di nuove viste ha molte applicazioni, in particolare nel campo delle trasmissioni sportive. La sintesi fotorealistica di nuove viste di azioni calcistiche, in particolare, è di enorme interesse per l'industria delle trasmissioni. Tuttavia, sono state proposte solo poche soluzioni industriali, e ancora meno che raggiungano una qualità quasi da trasmissione dei replay sintetici. A parte la loro configurazione di più telecamere statiche intorno al campo di gioco, i migliori sistemi proprietari non rivelano quasi nessuna informazione sul loro funzionamento interno. Sfruttare più telecamere statiche per un tale compito rappresenta infatti una sfida raramente affrontata nella letteratura, a causa della mancanza di dataset pubblici: la ricostruzione di un ambiente su larga scala, prevalentemente statico, con elementi piccoli e in rapido movimento. Recentemente, l'emergere dei campi di radianza neurali ha portato a progressi straordinari in molte applicazioni di sintesi di nuove viste, sfruttando i principi del deep learning per produrre risultati fotorealistici negli scenari più impegnativi. In questo lavoro, indaghiamo la fattibilità di basare una soluzione al compito su NeRF dinamici, ovvero modelli neurali progettati per ricostruire contenuti dinamici generali. Componiamo ambienti calcistici sintetici e conduciamo molteplici esperimenti utilizzandoli, identificando componenti chiave che aiutano a ricostruire scene calcistiche con NeRF dinamici. Dimostriamo che, sebbene questo approccio non possa soddisfare pienamente i requisiti di qualità per l'applicazione target, suggerisce promettenti percorsi verso una soluzione automatica ed economicamente efficiente. Rendiamo inoltre pubblicamente disponibili il nostro dataset e il codice, con l'obiettivo di incoraggiare ulteriori sforzi da parte della comunità di ricerca sul compito della sintesi di nuove viste per scene calcistiche dinamiche. Per il codice, i dati e i risultati video, si prega di visitare https://soccernerfs.isach.be.

English

The long-standing problem of novel view synthesis has many applications, notably in sports broadcasting. Photorealistic novel view synthesis of soccer actions, in particular, is of enormous interest to the broadcast industry. Yet only a few industrial solutions have been proposed, and even fewer that achieve near-broadcast quality of the synthetic replays. Except for their setup of multiple static cameras around the playfield, the best proprietary systems disclose close to no information about their inner workings. Leveraging multiple static cameras for such a task indeed presents a challenge rarely tackled in the literature, for a lack of public datasets: the reconstruction of a large-scale, mostly static environment, with small, fast-moving elements. Recently, the emergence of neural radiance fields has induced stunning progress in many novel view synthesis applications, leveraging deep learning principles to produce photorealistic results in the most challenging settings. In this work, we investigate the feasibility of basing a solution to the task on dynamic NeRFs, i.e., neural models purposed to reconstruct general dynamic content. We compose synthetic soccer environments and conduct multiple experiments using them, identifying key components that help reconstruct soccer scenes with dynamic NeRFs. We show that, although this approach cannot fully meet the quality requirements for the target application, it suggests promising avenues toward a cost-efficient, automatic solution. We also make our work dataset and code publicly available, with the goal to encourage further efforts from the research community on the task of novel view synthesis for dynamic soccer scenes. For code, data, and video results, please see https://soccernerfs.isach.be.

NeRF dinamici per scene di calcio

Dynamic NeRFs for Soccer Scenes

Abstract

Support