Hyper-VolTran: Generazione Rapida e Generalizzabile di Strutture 3D da Immagini One-Shot tramite HyperNetworks

Hyper-VolTran: Fast and Generalizable One-Shot Image to 3D Object Structure via HyperNetworks

December 24, 2023

Autori: Christian Simon, Sen He, Juan-Manuel Perez-Rua, Frost Xu, Amine Benhalloum, Tao Xiang

cs.AI

Abstract

Risolvere il problema di generazione 3D da una singola immagine è un compito mal posto, e i metodi attuali di ricostruzione neurale che affrontano questo problema attraverso modelli di diffusione si basano ancora su ottimizzazioni specifiche per la scena, limitando la loro capacità di generalizzazione. Per superare le limitazioni degli approcci esistenti riguardo alla generalizzazione e alla coerenza, introduciamo una nuova tecnica di rendering neurale. Il nostro approccio utilizza la funzione di distanza con segno come rappresentazione della superficie e incorpora prior generalizzabili attraverso volumi di codifica geometrica e HyperNetworks. Nello specifico, il nostro metodo costruisce volumi di codifica neurale a partire da input multi-vista generati. Regoliamo i pesi della rete SDF condizionata da un'immagine di input al momento del test per consentire l'adattamento del modello a nuove scene in modo feed-forward tramite HyperNetworks. Per mitigare gli artefatti derivanti dalle viste sintetizzate, proponiamo l'uso di un modulo volume transformer per migliorare l'aggregazione delle caratteristiche dell'immagine invece di elaborare ogni punto di vista separatamente. Attraverso il nostro metodo proposto, denominato Hyper-VolTran, evitiamo il collo di bottiglia dell'ottimizzazione specifica per la scena e manteniamo la coerenza tra le immagini generate da più punti di vista. I nostri esperimenti dimostrano i vantaggi del nostro approccio proposto, con risultati coerenti e una generazione rapida.

English

Solving image-to-3D from a single view is an ill-posed problem, and current neural reconstruction methods addressing it through diffusion models still rely on scene-specific optimization, constraining their generalization capability. To overcome the limitations of existing approaches regarding generalization and consistency, we introduce a novel neural rendering technique. Our approach employs the signed distance function as the surface representation and incorporates generalizable priors through geometry-encoding volumes and HyperNetworks. Specifically, our method builds neural encoding volumes from generated multi-view inputs. We adjust the weights of the SDF network conditioned on an input image at test-time to allow model adaptation to novel scenes in a feed-forward manner via HyperNetworks. To mitigate artifacts derived from the synthesized views, we propose the use of a volume transformer module to improve the aggregation of image features instead of processing each viewpoint separately. Through our proposed method, dubbed as Hyper-VolTran, we avoid the bottleneck of scene-specific optimization and maintain consistency across the images generated from multiple viewpoints. Our experiments show the advantages of our proposed approach with consistent results and rapid generation.