축구 장면을 위한 동적 NeRFs

초록

새로운 시점 합성의 오랜 문제는 특히 스포츠 방송 분야에서 많은 응용 분야를 가지고 있습니다. 특히 축구 동작의 사실적인 새로운 시점 합성은 방송 산업에서 매우 큰 관심을 받고 있습니다. 그러나 현재까지 제안된 산업적 솔루션은 소수에 불과하며, 합성된 리플레이가 방송 수준의 품질에 근접한 경우는 더욱 적습니다. 최고의 독점 시스템들은 경기장 주변에 여러 대의 고정 카메라를 설치하는 것 외에는 그 내부 작동 방식에 대해 거의 정보를 공개하지 않습니다. 이러한 작업을 위해 여러 대의 고정 카메라를 활용하는 것은 공개 데이터셋의 부족으로 인해 문헌에서 거의 다루어지지 않은 도전 과제입니다. 즉, 대규모의 주로 정적인 환경에서 작고 빠르게 움직이는 요소들을 재구성하는 문제입니다. 최근 신경 방사 필드(NeRF)의 등장은 가장 어려운 설정에서도 사실적인 결과를 생성하기 위해 딥러닝 원리를 활용하여 다양한 새로운 시점 합성 응용 분야에서 놀라운 진전을 이루었습니다. 본 연구에서는 일반적인 동적 콘텐츠를 재구성하기 위해 설계된 신경 모델인 동적 NeRF를 기반으로 이 작업에 대한 솔루션의 가능성을 탐구합니다. 우리는 합성 축구 환경을 구성하고 이를 사용하여 여러 실험을 수행하며, 동적 NeRF를 사용하여 축구 장면을 재구성하는 데 도움이 되는 주요 구성 요소를 식별합니다. 이 접근 방식이 목표 응용 분야의 품질 요구 사항을 완전히 충족시키지는 못하지만, 비용 효율적이고 자동화된 솔루션을 향한 유망한 방향을 제시한다는 것을 보여줍니다. 또한, 우리는 연구 커뮤니티가 동적 축구 장면에 대한 새로운 시점 합성 작업에 더 많은 노력을 기울이도록 장려하기 위해 작업 데이터셋과 코드를 공개합니다. 코드, 데이터 및 비디오 결과는 https://soccernerfs.isach.be에서 확인할 수 있습니다.

English

The long-standing problem of novel view synthesis has many applications, notably in sports broadcasting. Photorealistic novel view synthesis of soccer actions, in particular, is of enormous interest to the broadcast industry. Yet only a few industrial solutions have been proposed, and even fewer that achieve near-broadcast quality of the synthetic replays. Except for their setup of multiple static cameras around the playfield, the best proprietary systems disclose close to no information about their inner workings. Leveraging multiple static cameras for such a task indeed presents a challenge rarely tackled in the literature, for a lack of public datasets: the reconstruction of a large-scale, mostly static environment, with small, fast-moving elements. Recently, the emergence of neural radiance fields has induced stunning progress in many novel view synthesis applications, leveraging deep learning principles to produce photorealistic results in the most challenging settings. In this work, we investigate the feasibility of basing a solution to the task on dynamic NeRFs, i.e., neural models purposed to reconstruct general dynamic content. We compose synthetic soccer environments and conduct multiple experiments using them, identifying key components that help reconstruct soccer scenes with dynamic NeRFs. We show that, although this approach cannot fully meet the quality requirements for the target application, it suggests promising avenues toward a cost-efficient, automatic solution. We also make our work dataset and code publicly available, with the goal to encourage further efforts from the research community on the task of novel view synthesis for dynamic soccer scenes. For code, data, and video results, please see https://soccernerfs.isach.be.

축구 장면을 위한 동적 NeRFs

Dynamic NeRFs for Soccer Scenes

초록

Support