AIM 2024 スパースニューラルレンダリングチャレンジ：データセットとベンチマーク

AIM 2024 Sparse Neural Rendering Challenge: Dataset and Benchmark

September 23, 2024

著者: Michal Nazarczuk, Thomas Tanay, Sibi Catley-Chandar, Richard Shaw, Radu Timofte, Eduardo Pérez-Pellitero

cs.AI

要旨

最近の微分可能レンダリングとニューラルレンダリングの進歩により、新しい視点合成、3D再構築などのさまざまな2Dおよび3Dタスクで印象的な進展が見られました。通常、微分可能レンダリングは、シーンの密な視点カバレッジに依存しており、そのためジオメトリは外観の観測だけから曖昧さを解消できます。入力ビューがわずかしかない場合、一般的には疎またはフューショットニューラルレンダリングと呼ばれるいくつかの課題が発生します。これは過不足のある問題であるため、ほとんどの既存の手法は、正則化の使用を導入し、学習されたさまざまな事前確率と手作りの事前確率と共に使用されます。疎なレンダリング文献で頻繁に見られる問題は、均質で最新のデータセットと評価プロトコルの欠如です。高解像度のデータセットが密な再構築文献では標準ですが、疎なレンダリング手法はしばしば低解像度の画像で評価されます。さらに、データ分割は異なる論文間で一貫しておらず、テスト用の正解画像が一般に利用可能であり、これが過学習につながる可能性があります。本研究では、Sparse Rendering（SpaRe）データセットとベンチマークを提案します。DTU MVSデータセットのセットアップに従う新しいデータセットを紹介します。このデータセットは、合成された高品質アセットに基づく97の新しいシーンで構成されています。各シーンには最大64のカメラビューと7つの照明構成があり、1600x1200の解像度でレンダリングされています。一般化された手法を促進するために、82のシーンのトレーニング分割を公開し、検証およびテストセット用のオンライン評価プラットフォームを提供し、その正解画像は非公開となっています。2つの異なる疎な構成（それぞれ3および9の入力画像）を提案します。これにより、再現性のある評価のための強力で便利なツールが提供され、研究者が最先端のパフォーマンススコアを持つパブリックリーダーボードに簡単にアクセスできるようになります。詳細は以下をご参照ください：https://sparebenchmark.github.io/

English

Recent developments in differentiable and neural rendering have made impressive breakthroughs in a variety of 2D and 3D tasks, e.g. novel view synthesis, 3D reconstruction. Typically, differentiable rendering relies on a dense viewpoint coverage of the scene, such that the geometry can be disambiguated from appearance observations alone. Several challenges arise when only a few input views are available, often referred to as sparse or few-shot neural rendering. As this is an underconstrained problem, most existing approaches introduce the use of regularisation, together with a diversity of learnt and hand-crafted priors. A recurring problem in sparse rendering literature is the lack of an homogeneous, up-to-date, dataset and evaluation protocol. While high-resolution datasets are standard in dense reconstruction literature, sparse rendering methods often evaluate with low-resolution images. Additionally, data splits are inconsistent across different manuscripts, and testing ground-truth images are often publicly available, which may lead to over-fitting. In this work, we propose the Sparse Rendering (SpaRe) dataset and benchmark. We introduce a new dataset that follows the setup of the DTU MVS dataset. The dataset is composed of 97 new scenes based on synthetic, high-quality assets. Each scene has up to 64 camera views and 7 lighting configurations, rendered at 1600x1200 resolution. We release a training split of 82 scenes to foster generalizable approaches, and provide an online evaluation platform for the validation and test sets, whose ground-truth images remain hidden. We propose two different sparse configurations (3 and 9 input images respectively). This provides a powerful and convenient tool for reproducible evaluation, and enable researchers easy access to a public leaderboard with the state-of-the-art performance scores. Available at: https://sparebenchmark.github.io/