Sfida di rendering neurale sparso AIM 2024: Dataset e Benchmark

AIM 2024 Sparse Neural Rendering Challenge: Dataset and Benchmark

September 23, 2024

Autori: Michal Nazarczuk, Thomas Tanay, Sibi Catley-Chandar, Richard Shaw, Radu Timofte, Eduardo Pérez-Pellitero

cs.AI

Abstract

Gli sviluppi recenti nel rendering differenziabile e neurale hanno ottenuto importanti progressi in una varietà di compiti 2D e 3D, come la sintesi di nuove visuali, la ricostruzione 3D. Tipicamente, il rendering differenziabile si basa su una copertura densa dei punti di vista della scena, in modo che la geometria possa essere disambiguata solo dalle osservazioni dell'aspetto. Sorgono diverse sfide quando sono disponibili solo poche visuali di input, spesso indicate come rendering neurale sparso o a pochi scatti. Poiché si tratta di un problema sottodeterminato, la maggior parte degli approcci esistenti introduce l'uso di regolarizzazione, insieme a una varietà di priori appresi e artigianali. Un problema ricorrente nella letteratura sul rendering sparso è la mancanza di un dataset e di un protocollo di valutazione omogenei e aggiornati. Mentre i dataset ad alta risoluzione sono standard nella letteratura sulla ricostruzione densa, i metodi di rendering sparso spesso vengono valutati con immagini a bassa risoluzione. Inoltre, le divisioni dei dati sono inconsistenti tra i diversi documenti e le immagini di test ground-truth sono spesso disponibili pubblicamente, il che può portare all'overfitting. In questo lavoro, proponiamo il dataset e benchmark di Sparse Rendering (SpaRe). Introduciamo un nuovo dataset che segue la configurazione del dataset DTU MVS. Il dataset è composto da 97 nuove scene basate su asset sintetici di alta qualità. Ogni scena ha fino a 64 visuali della fotocamera e 7 configurazioni di illuminazione, renderizzate alla risoluzione di 1600x1200. Rilasciamo una divisione di addestramento di 82 scene per favorire approcci generalizzabili e forniamo una piattaforma di valutazione online per i set di convalida e test, le cui immagini ground-truth rimangono nascoste. Proponiamo due diverse configurazioni sparse (rispettivamente 3 e 9 immagini di input). Questo fornisce uno strumento potente e conveniente per una valutazione riproducibile e consente ai ricercatori di accedere facilmente a una classifica pubblica con i punteggi delle prestazioni all'avanguardia. Disponibile su: https://sparebenchmark.github.io/

English

Recent developments in differentiable and neural rendering have made impressive breakthroughs in a variety of 2D and 3D tasks, e.g. novel view synthesis, 3D reconstruction. Typically, differentiable rendering relies on a dense viewpoint coverage of the scene, such that the geometry can be disambiguated from appearance observations alone. Several challenges arise when only a few input views are available, often referred to as sparse or few-shot neural rendering. As this is an underconstrained problem, most existing approaches introduce the use of regularisation, together with a diversity of learnt and hand-crafted priors. A recurring problem in sparse rendering literature is the lack of an homogeneous, up-to-date, dataset and evaluation protocol. While high-resolution datasets are standard in dense reconstruction literature, sparse rendering methods often evaluate with low-resolution images. Additionally, data splits are inconsistent across different manuscripts, and testing ground-truth images are often publicly available, which may lead to over-fitting. In this work, we propose the Sparse Rendering (SpaRe) dataset and benchmark. We introduce a new dataset that follows the setup of the DTU MVS dataset. The dataset is composed of 97 new scenes based on synthetic, high-quality assets. Each scene has up to 64 camera views and 7 lighting configurations, rendered at 1600x1200 resolution. We release a training split of 82 scenes to foster generalizable approaches, and provide an online evaluation platform for the validation and test sets, whose ground-truth images remain hidden. We propose two different sparse configurations (3 and 9 input images respectively). This provides a powerful and convenient tool for reproducible evaluation, and enable researchers easy access to a public leaderboard with the state-of-the-art performance scores. Available at: https://sparebenchmark.github.io/