AIM 2024 Sparse Neural Rendering Challenge: Datensatz und Benchmark

AIM 2024 Sparse Neural Rendering Challenge: Dataset and Benchmark

September 23, 2024

Autoren: Michal Nazarczuk, Thomas Tanay, Sibi Catley-Chandar, Richard Shaw, Radu Timofte, Eduardo Pérez-Pellitero

cs.AI

Zusammenfassung

In den letzten Entwicklungen im Bereich der differenzierbaren und neuronalen Darstellung wurden beeindruckende Durchbrüche in einer Vielzahl von 2D- und 3D-Aufgaben erzielt, z. B. bei der Synthese neuer Ansichten und der 3D-Rekonstruktion. Typischerweise basiert die differenzierbare Darstellung auf einer dichten Abdeckung des Sichtpunkts der Szene, sodass die Geometrie allein aus Erscheinungsbeobachtungen heraus aufgelöst werden kann. Mehrere Herausforderungen entstehen, wenn nur wenige Eingabesichten verfügbar sind, oft als spärliche oder few-shot neuronale Darstellung bezeichnet. Da es sich um ein unterbestimmtes Problem handelt, führen die meisten bestehenden Ansätze die Verwendung von Regularisierung ein, zusammen mit einer Vielfalt von erlernten und handgefertigten Prioritäten. Ein wiederkehrendes Problem in der spärlichen Darstellungsliteratur ist der Mangel an einem homogenen, aktuellen Datensatz und Evaluierungsprotokoll. Während hochauflösende Datensätze in der dichten Rekonstruktionsliteratur Standard sind, evaluieren spärliche Darstellungsmethoden oft mit niedrig aufgelösten Bildern. Darüber hinaus sind Datenaufteilungen inkonsistent zwischen verschiedenen Manuskripten, und Test-Referenzbilder sind oft öffentlich verfügbar, was zu Überanpassung führen kann. In dieser Arbeit schlagen wir den Sparse Rendering (SpaRe) Datensatz und Benchmark vor. Wir stellen einen neuen Datensatz vor, der dem Setup des DTU MVS-Datensatzes folgt. Der Datensatz besteht aus 97 neuen Szenen auf der Basis synthetischer, hochwertiger Assets. Jede Szene hat bis zu 64 Kameraperspektiven und 7 Beleuchtungskonfigurationen, gerendert mit einer Auflösung von 1600x1200. Wir veröffentlichen einen Trainingsdatensatz von 82 Szenen, um generalisierbare Ansätze zu fördern, und stellen eine Online-Evaluationsplattform für die Validierungs- und Testdatensätze bereit, deren Referenzbilder verborgen bleiben. Wir schlagen zwei verschiedene spärliche Konfigurationen vor (3 bzw. 9 Eingabebilder). Dies bietet ein leistungsstarkes und praktisches Werkzeug für reproduzierbare Evaluationen und ermöglicht Forschern einen einfachen Zugang zu einer öffentlichen Bestenliste mit den modernsten Leistungswerten. Verfügbar unter: https://sparebenchmark.github.io/

English

Recent developments in differentiable and neural rendering have made impressive breakthroughs in a variety of 2D and 3D tasks, e.g. novel view synthesis, 3D reconstruction. Typically, differentiable rendering relies on a dense viewpoint coverage of the scene, such that the geometry can be disambiguated from appearance observations alone. Several challenges arise when only a few input views are available, often referred to as sparse or few-shot neural rendering. As this is an underconstrained problem, most existing approaches introduce the use of regularisation, together with a diversity of learnt and hand-crafted priors. A recurring problem in sparse rendering literature is the lack of an homogeneous, up-to-date, dataset and evaluation protocol. While high-resolution datasets are standard in dense reconstruction literature, sparse rendering methods often evaluate with low-resolution images. Additionally, data splits are inconsistent across different manuscripts, and testing ground-truth images are often publicly available, which may lead to over-fitting. In this work, we propose the Sparse Rendering (SpaRe) dataset and benchmark. We introduce a new dataset that follows the setup of the DTU MVS dataset. The dataset is composed of 97 new scenes based on synthetic, high-quality assets. Each scene has up to 64 camera views and 7 lighting configurations, rendered at 1600x1200 resolution. We release a training split of 82 scenes to foster generalizable approaches, and provide an online evaluation platform for the validation and test sets, whose ground-truth images remain hidden. We propose two different sparse configurations (3 and 9 input images respectively). This provides a powerful and convenient tool for reproducible evaluation, and enable researchers easy access to a public leaderboard with the state-of-the-art performance scores. Available at: https://sparebenchmark.github.io/