Hyper-VolTran : Génération rapide et généralisable de structures 3D à partir d'une seule image via HyperNetworks

Hyper-VolTran: Fast and Generalizable One-Shot Image to 3D Object Structure via HyperNetworks

December 24, 2023

Auteurs: Christian Simon, Sen He, Juan-Manuel Perez-Rua, Frost Xu, Amine Benhalloum, Tao Xiang

cs.AI

Résumé

La reconstruction 3D à partir d'une seule image est un problème mal posé, et les méthodes de reconstruction neuronales actuelles qui l'abordent via des modèles de diffusion reposent encore sur une optimisation spécifique à la scène, limitant ainsi leur capacité de généralisation. Pour surmonter les limitations des approches existantes en matière de généralisation et de cohérence, nous introduisons une nouvelle technique de rendu neuronal. Notre approche utilise la fonction de distance signée comme représentation de surface et intègre des connaissances généralisables via des volumes d'encodage géométrique et des HyperRéseaux. Plus précisément, notre méthode construit des volumes d'encodage neuronaux à partir de vues multiples générées. Nous ajustons les poids du réseau de fonction de distance signée en fonction d'une image d'entrée au moment du test, permettant ainsi l'adaptation du modèle à de nouvelles scènes de manière directe via des HyperRéseaux. Pour atténuer les artefacts provenant des vues synthétisées, nous proposons l'utilisation d'un module de transformation volumétrique pour améliorer l'agrégation des caractéristiques d'image au lieu de traiter chaque point de vue séparément. Grâce à notre méthode, baptisée Hyper-VolTran, nous évitons le goulot d'étranglement de l'optimisation spécifique à la scène et maintenons la cohérence entre les images générées à partir de multiples points de vue. Nos expériences démontrent les avantages de notre approche proposée, avec des résultats cohérents et une génération rapide.

English

Solving image-to-3D from a single view is an ill-posed problem, and current neural reconstruction methods addressing it through diffusion models still rely on scene-specific optimization, constraining their generalization capability. To overcome the limitations of existing approaches regarding generalization and consistency, we introduce a novel neural rendering technique. Our approach employs the signed distance function as the surface representation and incorporates generalizable priors through geometry-encoding volumes and HyperNetworks. Specifically, our method builds neural encoding volumes from generated multi-view inputs. We adjust the weights of the SDF network conditioned on an input image at test-time to allow model adaptation to novel scenes in a feed-forward manner via HyperNetworks. To mitigate artifacts derived from the synthesized views, we propose the use of a volume transformer module to improve the aggregation of image features instead of processing each viewpoint separately. Through our proposed method, dubbed as Hyper-VolTran, we avoid the bottleneck of scene-specific optimization and maintain consistency across the images generated from multiple viewpoints. Our experiments show the advantages of our proposed approach with consistent results and rapid generation.