ThermalNeRF: Тепловые радиантные поля

ThermalNeRF: Thermal Radiance Fields

July 22, 2024

Авторы: Yvette Y. Lin, Xin-Yi Pan, Sara Fridovich-Keil, Gordon Wetzstein

cs.AI

Аннотация

Тепловое изображение имеет различные применения, от агроконтроля до инспекции зданий и изображения в условиях плохой видимости, таких как в темноте, тумане и дожде. Однако восстановление тепловых сцен в 3D представляет несколько вызовов из-за сравнительно низкого разрешения и ограниченных характеристик в длинноволновых инфракрасных (LWIR) изображениях. Для преодоления этих препятствий мы предлагаем единый фреймворк для восстановления сцен из набора LWIR и RGB изображений, используя мультиспектральное излучение для представления сцены, видимой как видимыми, так и инфракрасными камерами, тем самым используя информацию по обоим спектрам. Мы калибруем RGB и инфракрасные камеры относительно друг друга в качестве предварительного шага с использованием простой калибровочной мишени. Мы демонстрируем наш метод на реальных наборах RGB и LWIR фотографий, сделанных с ручной тепловой камеры, показывая эффективность нашего метода в представлении сцены в видимом и инфракрасном спектрах. Мы показываем, что наш метод способен на тепловое суперразрешение, а также визуальное удаление препятствий для выявления объектов, скрытых в RGB или тепловых каналах. Пожалуйста, посетите https://yvette256.github.io/thermalnerf для видеорезультатов, а также нашего кода и набора данных.

English

Thermal imaging has a variety of applications, from agricultural monitoring to building inspection to imaging under poor visibility, such as in low light, fog, and rain. However, reconstructing thermal scenes in 3D presents several challenges due to the comparatively lower resolution and limited features present in long-wave infrared (LWIR) images. To overcome these challenges, we propose a unified framework for scene reconstruction from a set of LWIR and RGB images, using a multispectral radiance field to represent a scene viewed by both visible and infrared cameras, thus leveraging information across both spectra. We calibrate the RGB and infrared cameras with respect to each other, as a preprocessing step using a simple calibration target. We demonstrate our method on real-world sets of RGB and LWIR photographs captured from a handheld thermal camera, showing the effectiveness of our method at scene representation across the visible and infrared spectra. We show that our method is capable of thermal super-resolution, as well as visually removing obstacles to reveal objects that are occluded in either the RGB or thermal channels. Please see https://yvette256.github.io/thermalnerf for video results as well as our code and dataset release.