Hyper-VolTran: Snelle en generaliseerbare one-shot afbeelding naar 3D-objectstructuur via HyperNetworks

Hyper-VolTran: Fast and Generalizable One-Shot Image to 3D Object Structure via HyperNetworks

December 24, 2023

Auteurs: Christian Simon, Sen He, Juan-Manuel Perez-Rua, Frost Xu, Amine Benhalloum, Tao Xiang

cs.AI

Samenvatting

Het oplossen van beeld-naar-3D vanuit een enkel beeld is een slecht gesteld probleem, en huidige neurale reconstructiemethoden die dit aanpakken via diffusiemodellen blijven afhankelijk van scènespecifieke optimalisatie, wat hun generalisatievermogen beperkt. Om de beperkingen van bestaande benaderingen op het gebied van generalisatie en consistentie te overwinnen, introduceren we een nieuwe neurale renderingtechniek. Onze aanpak maakt gebruik van de signed distance function als oppervlakteweergave en integreert generaliseerbare priors via geometrie-coderende volumes en HyperNetworks. Specifiek bouwt onze methode neurale coderingsvolumes op vanuit gegenereerde invoer met meerdere gezichtspunten. We passen de gewichten van het SDF-netwerk aan, geconditioneerd op een invoerbeeld tijdens testtijd, om modelaanpassing aan nieuwe scènes mogelijk te maken in een feed-forward manier via HyperNetworks. Om artefacten afkomstig van de gesynthetiseerde gezichtspunten te verminderen, stellen we het gebruik van een volumetransformermodule voor om de aggregatie van beeldkenmerken te verbeteren in plaats van elk gezichtspunt afzonderlijk te verwerken. Met onze voorgestelde methode, genaamd Hyper-VolTran, vermijden we het knelpunt van scènespecifieke optimalisatie en behouden we consistentie tussen de beelden gegenereerd vanuit meerdere gezichtspunten. Onze experimenten tonen de voordelen van onze voorgestelde aanpak met consistente resultaten en snelle generatie.

English

Solving image-to-3D from a single view is an ill-posed problem, and current neural reconstruction methods addressing it through diffusion models still rely on scene-specific optimization, constraining their generalization capability. To overcome the limitations of existing approaches regarding generalization and consistency, we introduce a novel neural rendering technique. Our approach employs the signed distance function as the surface representation and incorporates generalizable priors through geometry-encoding volumes and HyperNetworks. Specifically, our method builds neural encoding volumes from generated multi-view inputs. We adjust the weights of the SDF network conditioned on an input image at test-time to allow model adaptation to novel scenes in a feed-forward manner via HyperNetworks. To mitigate artifacts derived from the synthesized views, we propose the use of a volume transformer module to improve the aggregation of image features instead of processing each viewpoint separately. Through our proposed method, dubbed as Hyper-VolTran, we avoid the bottleneck of scene-specific optimization and maintain consistency across the images generated from multiple viewpoints. Our experiments show the advantages of our proposed approach with consistent results and rapid generation.