4K4D: Sintesi in Tempo Reale di Viste 4D a Risoluzione 4K

4K4D: Real-Time 4D View Synthesis at 4K Resolution

October 17, 2023

Autori: Zhen Xu, Sida Peng, Haotong Lin, Guangzhao He, Jiaming Sun, Yujun Shen, Hujun Bao, Xiaowei Zhou

cs.AI

Abstract

Questo articolo si concentra sulla sintesi di viste ad alta fedeltà e in tempo reale di scene 3D dinamiche a risoluzione 4K. Recentemente, alcuni metodi per la sintesi di viste dinamiche hanno dimostrato una qualità di rendering impressionante. Tuttavia, la loro velocità rimane limitata quando si tratta di renderizzare immagini ad alta risoluzione. Per superare questo problema, proponiamo 4K4D, una rappresentazione di nuvola di punti 4D che supporta la rasterizzazione hardware e consente una velocità di rendering senza precedenti. La nostra rappresentazione è costruita su una griglia di caratteristiche 4D, in modo che i punti siano naturalmente regolarizzati e possano essere ottimizzati in modo robusto. Inoltre, progettiamo un nuovo modello di aspetto ibrido che migliora significativamente la qualità del rendering mantenendo l'efficienza. Inoltre, sviluppiamo un algoritmo di peeling della profondità differenziabile per apprendere efficacemente il modello proposto da video RGB. Gli esperimenti dimostrano che la nostra rappresentazione può essere renderizzata a oltre 400 FPS sul dataset DNA-Rendering a risoluzione 1080p e a 80 FPS sul dataset ENeRF-Outdoor a risoluzione 4K utilizzando una GPU RTX 4090, il che è 30 volte più veloce rispetto ai metodi precedenti e raggiunge la qualità di rendering allo stato dell'arte. Rilasceremo il codice per garantire la riproducibilità.

English

This paper targets high-fidelity and real-time view synthesis of dynamic 3D scenes at 4K resolution. Recently, some methods on dynamic view synthesis have shown impressive rendering quality. However, their speed is still limited when rendering high-resolution images. To overcome this problem, we propose 4K4D, a 4D point cloud representation that supports hardware rasterization and enables unprecedented rendering speed. Our representation is built on a 4D feature grid so that the points are naturally regularized and can be robustly optimized. In addition, we design a novel hybrid appearance model that significantly boosts the rendering quality while preserving efficiency. Moreover, we develop a differentiable depth peeling algorithm to effectively learn the proposed model from RGB videos. Experiments show that our representation can be rendered at over 400 FPS on the DNA-Rendering dataset at 1080p resolution and 80 FPS on the ENeRF-Outdoor dataset at 4K resolution using an RTX 4090 GPU, which is 30x faster than previous methods and achieves the state-of-the-art rendering quality. We will release the code for reproducibility.