Вызов Sparse Neural Rendering AIM 2024: Набор данных и Бенчмарк

AIM 2024 Sparse Neural Rendering Challenge: Dataset and Benchmark

September 23, 2024

Авторы: Michal Nazarczuk, Thomas Tanay, Sibi Catley-Chandar, Richard Shaw, Radu Timofte, Eduardo Pérez-Pellitero

cs.AI

Аннотация

Недавние достижения в области дифференцируемого и нейронного рендеринга привели к впечатляющим прорывам в различных задачах 2D и 3D, например, в синтезе нового вида, реконструкции 3D. Обычно дифференцируемый рендеринг зависит от плотного покрытия точек обзора сцены, так чтобы геометрию можно было однозначно определить только по наблюдениям за внешним видом. Несколько вызовов возникают, когда доступно только несколько входных видов, часто называемых разреженным или малообученным нейронным рендерингом. Поскольку это недоопределенная проблема, большинство существующих подходов вводят использование регуляризации, вместе с разнообразием изученных и созданных вручную априорных знаний. Повторяющейся проблемой в литературе по разреженному рендерингу является отсутствие однородного, актуального набора данных и протокола оценки. В то время как высокоразрешающие наборы данных являются стандартом в литературе о плотной реконструкции, методы разреженного рендеринга часто оцениваются с использованием изображений низкого разрешения. Кроме того, разделение данных не согласовано между различными статьями, и тестовые изображения истинных значений часто доступны публично, что может привести к переобучению. В данной работе мы предлагаем набор данных Sparse Rendering (SpaRe) и бенчмарк. Мы представляем новый набор данных, который следует принципам набора данных DTU MVS. Набор данных состоит из 97 новых сцен на основе синтетических, высококачественных ресурсов. Каждая сцена имеет до 64 видов камеры и 7 конфигураций освещения, отрисованных с разрешением 1600x1200. Мы выпускаем обучающий набор из 82 сцен для поощрения обобщаемых подходов и предоставляем онлайн-платформу для оценки валидационного и тестового наборов, где изображения истинных значений остаются скрытыми. Мы предлагаем две различные разреженные конфигурации (соответственно 3 и 9 входных изображений). Это предоставляет мощный и удобный инструмент для воспроизводимой оценки и обеспечивает исследователям легкий доступ к общедоступной таблице лидеров с результатами современных показателей производительности. Доступно по ссылке: https://sparebenchmark.github.io/

English

Recent developments in differentiable and neural rendering have made impressive breakthroughs in a variety of 2D and 3D tasks, e.g. novel view synthesis, 3D reconstruction. Typically, differentiable rendering relies on a dense viewpoint coverage of the scene, such that the geometry can be disambiguated from appearance observations alone. Several challenges arise when only a few input views are available, often referred to as sparse or few-shot neural rendering. As this is an underconstrained problem, most existing approaches introduce the use of regularisation, together with a diversity of learnt and hand-crafted priors. A recurring problem in sparse rendering literature is the lack of an homogeneous, up-to-date, dataset and evaluation protocol. While high-resolution datasets are standard in dense reconstruction literature, sparse rendering methods often evaluate with low-resolution images. Additionally, data splits are inconsistent across different manuscripts, and testing ground-truth images are often publicly available, which may lead to over-fitting. In this work, we propose the Sparse Rendering (SpaRe) dataset and benchmark. We introduce a new dataset that follows the setup of the DTU MVS dataset. The dataset is composed of 97 new scenes based on synthetic, high-quality assets. Each scene has up to 64 camera views and 7 lighting configurations, rendered at 1600x1200 resolution. We release a training split of 82 scenes to foster generalizable approaches, and provide an online evaluation platform for the validation and test sets, whose ground-truth images remain hidden. We propose two different sparse configurations (3 and 9 input images respectively). This provides a powerful and convenient tool for reproducible evaluation, and enable researchers easy access to a public leaderboard with the state-of-the-art performance scores. Available at: https://sparebenchmark.github.io/