AIM 2024 Sparse Neural Rendering Uitdaging: Dataset en Benchmark

AIM 2024 Sparse Neural Rendering Challenge: Dataset and Benchmark

September 23, 2024

Auteurs: Michal Nazarczuk, Thomas Tanay, Sibi Catley-Chandar, Richard Shaw, Radu Timofte, Eduardo Pérez-Pellitero

cs.AI

Samenvatting

Recente ontwikkelingen in differentieerbare en neurale rendering hebben indrukwekkende doorbraken gemaakt in een verscheidenheid aan 2D- en 3D-taken, zoals het synthetiseren van nieuwe weergaven en 3D-reconstructie. Doorgaans vertrouwt differentieerbare rendering op een dichte dekking van gezichtspunten van de scène, zodat de geometrie kan worden onderscheiden op basis van alleen waarnemingen van uiterlijk. Verschillende uitdagingen doen zich voor wanneer slechts een paar invoerweergaven beschikbaar zijn, vaak aangeduid als spaarse of few-shot neurale rendering. Aangezien dit een onderbepaald probleem is, introduceren de meeste bestaande benaderingen het gebruik van regularisatie, samen met een diversiteit aan aangeleerde en handgemaakte priori. Een terugkerend probleem in de spaarse rendering literatuur is het ontbreken van een homogene, up-to-date dataset en evaluatieprotocol. Terwijl datasets met hoge resolutie standaard zijn in de dichte reconstructie literatuur, evalueren spaarse rendering methoden vaak met lage-resolutie beelden. Bovendien zijn gegevenssplitsingen inconsistent over verschillende manuscripten en zijn testgrondwaarheidsbeelden vaak openbaar beschikbaar, wat kan leiden tot overpassing. In dit werk stellen we het Spaarse Rendering (SpaRe) dataset en benchmark voor. We introduceren een nieuwe dataset die de opzet van de DTU MVS dataset volgt. De dataset bestaat uit 97 nieuwe scènes gebaseerd op synthetische, hoogwaardige assets. Elke scène heeft tot 64 cameraweergaven en 7 belichtingsconfiguraties, weergegeven op een resolutie van 1600x1200. We publiceren een trainingsverdeling van 82 scènes om generaliseerbare benaderingen te bevorderen, en bieden een online evaluatieplatform voor de validatie- en testsets, waarvan de grondwaarheidsbeelden verborgen blijven. We stellen twee verschillende spaarse configuraties voor (respectievelijk 3 en 9 invoerbeelden). Dit biedt een krachtig en handig instrument voor reproduceerbare evaluatie, en stelt onderzoekers in staat gemakkelijk toegang te krijgen tot een openbare ranglijst met de prestatiescores van de state-of-the-art. Beschikbaar op: https://sparebenchmark.github.io/

English

Recent developments in differentiable and neural rendering have made impressive breakthroughs in a variety of 2D and 3D tasks, e.g. novel view synthesis, 3D reconstruction. Typically, differentiable rendering relies on a dense viewpoint coverage of the scene, such that the geometry can be disambiguated from appearance observations alone. Several challenges arise when only a few input views are available, often referred to as sparse or few-shot neural rendering. As this is an underconstrained problem, most existing approaches introduce the use of regularisation, together with a diversity of learnt and hand-crafted priors. A recurring problem in sparse rendering literature is the lack of an homogeneous, up-to-date, dataset and evaluation protocol. While high-resolution datasets are standard in dense reconstruction literature, sparse rendering methods often evaluate with low-resolution images. Additionally, data splits are inconsistent across different manuscripts, and testing ground-truth images are often publicly available, which may lead to over-fitting. In this work, we propose the Sparse Rendering (SpaRe) dataset and benchmark. We introduce a new dataset that follows the setup of the DTU MVS dataset. The dataset is composed of 97 new scenes based on synthetic, high-quality assets. Each scene has up to 64 camera views and 7 lighting configurations, rendered at 1600x1200 resolution. We release a training split of 82 scenes to foster generalizable approaches, and provide an online evaluation platform for the validation and test sets, whose ground-truth images remain hidden. We propose two different sparse configurations (3 and 9 input images respectively). This provides a powerful and convenient tool for reproducible evaluation, and enable researchers easy access to a public leaderboard with the state-of-the-art performance scores. Available at: https://sparebenchmark.github.io/