Mesh2NeRF: Прямое мешевое руководство для представления и генерации нейронного поля излучения.
Mesh2NeRF: Direct Mesh Supervision for Neural Radiance Field Representation and Generation
March 28, 2024
Авторы: Yujin Chen, Yinyu Nie, Benjamin Ummenhofer, Reiner Birkl, Michael Paulitsch, Matthias Müller, Matthias Nießner
cs.AI
Аннотация
Мы представляем Mesh2NeRF, подход к получению истинных полей излучения из текстурированных сеток для задач 3D-генерации. Многие подходы к генерации 3D-изображений представляют сцены в виде полей излучения для обучения. Их истинные поля излучения обычно подгоняются из многопроекционных рендерингов с крупномасштабного синтетического 3D-набора данных, что часто приводит к артефактам из-за заслонений или проблем недообучения. В Mesh2NeRF мы предлагаем аналитическое решение для прямого получения истинных полей излучения из 3D-сеток, характеризуя поле плотности с помощью функции занятости с определенной толщиной поверхности и определяя видозависимый цвет через функцию отражения, учитывающую как сетку, так и освещение окружения. Mesh2NeRF извлекает точные поля излучения, обеспечивая прямое руководство для обучения генеративных NeRF и представления сцены. Мы подтверждаем эффективность Mesh2NeRF в различных задачах, достигая значительного улучшения PSNR на 3,12 дБ для синтеза видов в представлении одной сцены на наборе данных ABO, улучшения PSNR на 0,69 при условной генерации одного вида для автомобилей ShapeNet и значительно улучшенного извлечения сетки из NeRF при безусловной генерации кружек Objaverse.
English
We present Mesh2NeRF, an approach to derive ground-truth radiance fields from
textured meshes for 3D generation tasks. Many 3D generative approaches
represent 3D scenes as radiance fields for training. Their ground-truth
radiance fields are usually fitted from multi-view renderings from a
large-scale synthetic 3D dataset, which often results in artifacts due to
occlusions or under-fitting issues. In Mesh2NeRF, we propose an analytic
solution to directly obtain ground-truth radiance fields from 3D meshes,
characterizing the density field with an occupancy function featuring a defined
surface thickness, and determining view-dependent color through a reflection
function considering both the mesh and environment lighting. Mesh2NeRF extracts
accurate radiance fields which provides direct supervision for training
generative NeRFs and single scene representation. We validate the effectiveness
of Mesh2NeRF across various tasks, achieving a noteworthy 3.12dB improvement in
PSNR for view synthesis in single scene representation on the ABO dataset, a
0.69 PSNR enhancement in the single-view conditional generation of ShapeNet
Cars, and notably improved mesh extraction from NeRF in the unconditional
generation of Objaverse Mugs.