Desafío de Renderizado Neural Esparsa AIM 2024: Conjunto de Datos y Evaluación

AIM 2024 Sparse Neural Rendering Challenge: Dataset and Benchmark

September 23, 2024

Autores: Michal Nazarczuk, Thomas Tanay, Sibi Catley-Chandar, Richard Shaw, Radu Timofte, Eduardo Pérez-Pellitero

cs.AI

Resumen

Los recientes avances en renderizado diferenciable y neural han logrado avances impresionantes en una variedad de tareas en 2D y 3D, por ejemplo, síntesis de vistas novedosas, reconstrucción 3D. Típicamente, el renderizado diferenciable se basa en una cobertura densa de puntos de vista de la escena, de modo que la geometría pueda ser desambiguada únicamente a partir de observaciones de apariencia. Varias dificultades surgen cuando solo se dispone de unas pocas vistas de entrada, a menudo denominado renderizado neural escaso o de pocos disparos. Dado que se trata de un problema subdeterminado, la mayoría de los enfoques existentes introducen el uso de regularización, junto con una diversidad de priors aprendidos y hechos a mano. Un problema recurrente en la literatura de renderizado escaso es la falta de un conjunto de datos y protocolo de evaluación homogéneos y actualizados. Mientras que los conjuntos de datos de alta resolución son comunes en la literatura de reconstrucción densa, los métodos de renderizado escaso a menudo se evalúan con imágenes de baja resolución. Además, las divisiones de datos son inconsistentes entre diferentes manuscritos y las imágenes de prueba de ground-truth a menudo están disponibles públicamente, lo que puede llevar a un sobreajuste. En este trabajo, proponemos el conjunto de datos y evaluación de Sparse Rendering (SpaRe). Introducimos un nuevo conjunto de datos que sigue la configuración del conjunto de datos DTU MVS. El conjunto de datos está compuesto por 97 nuevas escenas basadas en activos sintéticos de alta calidad. Cada escena tiene hasta 64 vistas de cámara y 7 configuraciones de iluminación, renderizadas a una resolución de 1600x1200. Publicamos una división de entrenamiento de 82 escenas para fomentar enfoques generalizables, y proporcionamos una plataforma de evaluación en línea para los conjuntos de validación y prueba, cuyas imágenes de ground-truth permanecen ocultas. Proponemos dos configuraciones escasas diferentes (3 y 9 imágenes de entrada respectivamente). Esto proporciona una herramienta poderosa y conveniente para una evaluación reproducible, y permite a los investigadores acceder fácilmente a una tabla de clasificación pública con los puntajes de rendimiento de vanguardia. Disponible en: https://sparebenchmark.github.io/

English

Recent developments in differentiable and neural rendering have made impressive breakthroughs in a variety of 2D and 3D tasks, e.g. novel view synthesis, 3D reconstruction. Typically, differentiable rendering relies on a dense viewpoint coverage of the scene, such that the geometry can be disambiguated from appearance observations alone. Several challenges arise when only a few input views are available, often referred to as sparse or few-shot neural rendering. As this is an underconstrained problem, most existing approaches introduce the use of regularisation, together with a diversity of learnt and hand-crafted priors. A recurring problem in sparse rendering literature is the lack of an homogeneous, up-to-date, dataset and evaluation protocol. While high-resolution datasets are standard in dense reconstruction literature, sparse rendering methods often evaluate with low-resolution images. Additionally, data splits are inconsistent across different manuscripts, and testing ground-truth images are often publicly available, which may lead to over-fitting. In this work, we propose the Sparse Rendering (SpaRe) dataset and benchmark. We introduce a new dataset that follows the setup of the DTU MVS dataset. The dataset is composed of 97 new scenes based on synthetic, high-quality assets. Each scene has up to 64 camera views and 7 lighting configurations, rendered at 1600x1200 resolution. We release a training split of 82 scenes to foster generalizable approaches, and provide an online evaluation platform for the validation and test sets, whose ground-truth images remain hidden. We propose two different sparse configurations (3 and 9 input images respectively). This provides a powerful and convenient tool for reproducible evaluation, and enable researchers easy access to a public leaderboard with the state-of-the-art performance scores. Available at: https://sparebenchmark.github.io/