NeRFs Dinâmicos para Cenas de Futebol

Dynamic NeRFs for Soccer Scenes

September 13, 2023

Autores: Sacha Lewin, Maxime Vandegar, Thomas Hoyoux, Olivier Barnich, Gilles Louppe

cs.AI

Resumo

O problema de longa data da síntese de novas visões tem muitas aplicações, notavelmente na transmissão de eventos esportivos. A síntese fotorealística de novas visões de ações de futebol, em particular, é de enorme interesse para a indústria de transmissão. No entanto, apenas algumas soluções industriais foram propostas, e ainda menos que alcançam uma qualidade próxima à de transmissão das repetições sintéticas. Com exceção da configuração de múltiplas câmeras estáticas ao redor do campo de jogo, os melhores sistemas proprietários revelam quase nenhuma informação sobre seu funcionamento interno. A utilização de múltiplas câmeras estáticas para tal tarefa, de fato, apresenta um desafio raramente abordado na literatura, devido à falta de conjuntos de dados públicos: a reconstrução de um ambiente em grande escala, majoritariamente estático, com elementos pequenos e em movimento rápido. Recentemente, o surgimento dos campos de radiação neural (NeRFs) induziu um progresso impressionante em muitas aplicações de síntese de novas visões, aproveitando os princípios de aprendizado profundo para produzir resultados fotorealísticos nos cenários mais desafiadores. Neste trabalho, investigamos a viabilidade de basear uma solução para a tarefa em NeRFs dinâmicos, ou seja, modelos neurais destinados a reconstruir conteúdo dinâmico geral. Compomos ambientes sintéticos de futebol e conduzimos múltiplos experimentos utilizando-os, identificando componentes-chave que ajudam a reconstruir cenas de futebol com NeRFs dinâmicos. Mostramos que, embora essa abordagem não possa atender completamente aos requisitos de qualidade para a aplicação alvo, ela sugere caminhos promissores em direção a uma solução automática e de baixo custo. Também disponibilizamos publicamente nosso conjunto de dados e código, com o objetivo de incentivar mais esforços da comunidade de pesquisa na tarefa de síntese de novas visões para cenas dinâmicas de futebol. Para código, dados e resultados em vídeo, consulte https://soccernerfs.isach.be.

English

The long-standing problem of novel view synthesis has many applications, notably in sports broadcasting. Photorealistic novel view synthesis of soccer actions, in particular, is of enormous interest to the broadcast industry. Yet only a few industrial solutions have been proposed, and even fewer that achieve near-broadcast quality of the synthetic replays. Except for their setup of multiple static cameras around the playfield, the best proprietary systems disclose close to no information about their inner workings. Leveraging multiple static cameras for such a task indeed presents a challenge rarely tackled in the literature, for a lack of public datasets: the reconstruction of a large-scale, mostly static environment, with small, fast-moving elements. Recently, the emergence of neural radiance fields has induced stunning progress in many novel view synthesis applications, leveraging deep learning principles to produce photorealistic results in the most challenging settings. In this work, we investigate the feasibility of basing a solution to the task on dynamic NeRFs, i.e., neural models purposed to reconstruct general dynamic content. We compose synthetic soccer environments and conduct multiple experiments using them, identifying key components that help reconstruct soccer scenes with dynamic NeRFs. We show that, although this approach cannot fully meet the quality requirements for the target application, it suggests promising avenues toward a cost-efficient, automatic solution. We also make our work dataset and code publicly available, with the goal to encourage further efforts from the research community on the task of novel view synthesis for dynamic soccer scenes. For code, data, and video results, please see https://soccernerfs.isach.be.