サッカーシーン向け動的NeRF

要旨

新規視点合成という長年の課題には多くの応用があり、特にスポーツ放送分野で注目を集めています。サッカーのアクションをフォトリアルに再現する新規視点合成は、放送業界にとって非常に重要なテーマです。しかし、これまでに提案された産業ソリューションはわずかであり、合成リプレイが放送品質に近いものはさらに少ない状況です。最高峰の独自システムは、ピッチ周囲に複数の固定カメラを設置する以外、その内部動作に関する情報をほとんど公開していません。このようなタスクに複数の固定カメラを活用することは、公開データセットの不足から、学術的にもほとんど取り組まれていない課題です。つまり、大規模で主に静的な環境に、小さく高速に動く要素を再構築するという課題です。最近、ニューラルラディアンスフィールド（NeRF）の登場により、多くの新規視点合成アプリケーションで驚異的な進展が見られています。深層学習の原理を活用することで、最も困難な設定でもフォトリアルな結果を生成できるようになりました。本研究では、動的NeRF、すなわち一般的な動的コンテンツを再構築するためのニューラルモデルを基に、この課題に対するソリューションの実現可能性を探ります。私たちは合成サッカー環境を構築し、それらを用いて複数の実験を行い、動的NeRFでサッカーシーンを再構築するための重要な要素を特定しました。このアプローチはターゲットアプリケーションの品質要件を完全には満たせないものの、コスト効率の良い自動ソリューションに向けた有望な道筋を示唆しています。また、私たちは研究コミュニティが動的サッカーシーンの新規視点合成タスクにさらに取り組むことを奨励するため、データセットとコードを公開しました。コード、データ、およびビデオ結果については、https://soccernerfs.isach.be をご覧ください。

English

The long-standing problem of novel view synthesis has many applications, notably in sports broadcasting. Photorealistic novel view synthesis of soccer actions, in particular, is of enormous interest to the broadcast industry. Yet only a few industrial solutions have been proposed, and even fewer that achieve near-broadcast quality of the synthetic replays. Except for their setup of multiple static cameras around the playfield, the best proprietary systems disclose close to no information about their inner workings. Leveraging multiple static cameras for such a task indeed presents a challenge rarely tackled in the literature, for a lack of public datasets: the reconstruction of a large-scale, mostly static environment, with small, fast-moving elements. Recently, the emergence of neural radiance fields has induced stunning progress in many novel view synthesis applications, leveraging deep learning principles to produce photorealistic results in the most challenging settings. In this work, we investigate the feasibility of basing a solution to the task on dynamic NeRFs, i.e., neural models purposed to reconstruct general dynamic content. We compose synthetic soccer environments and conduct multiple experiments using them, identifying key components that help reconstruct soccer scenes with dynamic NeRFs. We show that, although this approach cannot fully meet the quality requirements for the target application, it suggests promising avenues toward a cost-efficient, automatic solution. We also make our work dataset and code publicly available, with the goal to encourage further efforts from the research community on the task of novel view synthesis for dynamic soccer scenes. For code, data, and video results, please see https://soccernerfs.isach.be.

サッカーシーン向け動的NeRF

Dynamic NeRFs for Soccer Scenes

要旨

Support