La Secuencia Importa: Aprovechando Modelos de Video en la Super-Resolución 3D

Sequence Matters: Harnessing Video Models in 3D Super-Resolution

December 16, 2024

Autores: Hyun-kyu Ko, Dongheok Park, Youngin Park, Byeonghyeon Lee, Juhee Han, Eunbyung Park

cs.AI

Resumen

La superresolución 3D tiene como objetivo reconstruir modelos 3D de alta fidelidad a partir de imágenes de múltiples vistas de baja resolución (LR). Los primeros estudios se centraron principalmente en modelos de superresolución de imagen única (SISR) para aumentar la resolución de las imágenes LR a imágenes de alta resolución. Sin embargo, estos métodos a menudo carecen de consistencia de vista porque operan de forma independiente en cada imagen. Aunque se han explorado diversas técnicas de postprocesamiento para mitigar estas inconsistencias, aún no se han resuelto completamente los problemas. En este artículo, realizamos un estudio exhaustivo de la superresolución 3D aprovechando los modelos de superresolución de video (VSR). Al utilizar modelos VSR, aseguramos un mayor grado de consistencia espacial y podemos hacer referencia a la información espacial circundante, lo que conduce a reconstrucciones más precisas y detalladas. Nuestros hallazgos revelan que los modelos VSR pueden funcionar notablemente bien incluso en secuencias que carecen de alineación espacial precisa. Dada esta observación, proponemos un enfoque simple pero práctico para alinear imágenes LR sin implicar ajustes finos o generar una trayectoria 'suave' a partir de los modelos 3D entrenados sobre imágenes LR. Los resultados experimentales muestran que los algoritmos sorprendentemente simples pueden lograr los mejores resultados en tareas de superresolución 3D en conjuntos de datos de referencia estándar, como los conjuntos de datos NeRF-sintético y MipNeRF-360. Página del proyecto: https://ko-lani.github.io/Sequence-Matters

English

3D super-resolution aims to reconstruct high-fidelity 3D models from low-resolution (LR) multi-view images. Early studies primarily focused on single-image super-resolution (SISR) models to upsample LR images into high-resolution images. However, these methods often lack view consistency because they operate independently on each image. Although various post-processing techniques have been extensively explored to mitigate these inconsistencies, they have yet to fully resolve the issues. In this paper, we perform a comprehensive study of 3D super-resolution by leveraging video super-resolution (VSR) models. By utilizing VSR models, we ensure a higher degree of spatial consistency and can reference surrounding spatial information, leading to more accurate and detailed reconstructions. Our findings reveal that VSR models can perform remarkably well even on sequences that lack precise spatial alignment. Given this observation, we propose a simple yet practical approach to align LR images without involving fine-tuning or generating 'smooth' trajectory from the trained 3D models over LR images. The experimental results show that the surprisingly simple algorithms can achieve the state-of-the-art results of 3D super-resolution tasks on standard benchmark datasets, such as the NeRF-synthetic and MipNeRF-360 datasets. Project page: https://ko-lani.github.io/Sequence-Matters