Dynamische NeRFs für Fußballszenen

papers.abstract

Das langjährige Problem der Synthese neuer Ansichten hat viele Anwendungen, insbesondere im Bereich der Sportübertragungen. Die fotorealistische Synthese neuer Ansichten von Fußballaktionen ist von besonderem Interesse für die Broadcast-Industrie. Dennoch wurden nur wenige industrielle Lösungen vorgeschlagen, und noch weniger erreichen eine annähernd Broadcast-taugliche Qualität der synthetischen Wiederholungen. Abgesehen von ihrer Anordnung mit mehreren statischen Kameras rund um das Spielfeld, geben die besten proprietären Systeme nahezu keine Informationen über ihre internen Abläufe preis. Die Nutzung mehrerer statischer Kameras für eine solche Aufgabe stellt tatsächlich eine Herausforderung dar, die in der Literatur aufgrund des Mangels an öffentlichen Datensätzen selten behandelt wird: die Rekonstruktion einer großflächigen, überwiegend statischen Umgebung mit kleinen, sich schnell bewegenden Elementen. Kürzlich hat das Aufkommen von Neural Radiance Fields (NeRFs) beeindruckende Fortschritte in vielen Anwendungen der Synthese neuer Ansichten bewirkt, indem Prinzipien des Deep Learning genutzt werden, um fotorealistische Ergebnisse in den anspruchsvollsten Settings zu erzielen. In dieser Arbeit untersuchen wir die Machbarkeit einer Lösung für diese Aufgabe basierend auf dynamischen NeRFs, d.h. neuronalen Modellen, die zur Rekonstruktion allgemeiner dynamischer Inhalte entwickelt wurden. Wir erstellen synthetische Fußballumgebungen und führen mehrere Experimente mit ihnen durch, wobei wir Schlüsselkomponenten identifizieren, die bei der Rekonstruktion von Fußballszenen mit dynamischen NeRFs helfen. Wir zeigen, dass dieser Ansatz zwar die Qualitätsanforderungen für die Zielanwendung nicht vollständig erfüllen kann, aber vielversprechende Wege zu einer kosteneffizienten, automatischen Lösung aufzeigt. Wir stellen außerdem unseren Datensatz und unseren Code öffentlich zur Verfügung, mit dem Ziel, weitere Bemühungen der Forschungsgemeinschaft bei der Aufgabe der Synthese neuer Ansichten für dynamische Fußballszenen zu fördern. Für Code, Daten und Videoergebnisse besuchen Sie bitte https://soccernerfs.isach.be.

English

The long-standing problem of novel view synthesis has many applications, notably in sports broadcasting. Photorealistic novel view synthesis of soccer actions, in particular, is of enormous interest to the broadcast industry. Yet only a few industrial solutions have been proposed, and even fewer that achieve near-broadcast quality of the synthetic replays. Except for their setup of multiple static cameras around the playfield, the best proprietary systems disclose close to no information about their inner workings. Leveraging multiple static cameras for such a task indeed presents a challenge rarely tackled in the literature, for a lack of public datasets: the reconstruction of a large-scale, mostly static environment, with small, fast-moving elements. Recently, the emergence of neural radiance fields has induced stunning progress in many novel view synthesis applications, leveraging deep learning principles to produce photorealistic results in the most challenging settings. In this work, we investigate the feasibility of basing a solution to the task on dynamic NeRFs, i.e., neural models purposed to reconstruct general dynamic content. We compose synthetic soccer environments and conduct multiple experiments using them, identifying key components that help reconstruct soccer scenes with dynamic NeRFs. We show that, although this approach cannot fully meet the quality requirements for the target application, it suggests promising avenues toward a cost-efficient, automatic solution. We also make our work dataset and code publicly available, with the goal to encourage further efforts from the research community on the task of novel view synthesis for dynamic soccer scenes. For code, data, and video results, please see https://soccernerfs.isach.be.

Dynamische NeRFs für Fußballszenen

Dynamic NeRFs for Soccer Scenes

papers.abstract

Support