Hyper-VolTran: Schnelle und verallgemeinerbare Einzelbild-zu-3D-Objektstruktur-Transformation mittels HyperNetzwerken

Hyper-VolTran: Fast and Generalizable One-Shot Image to 3D Object Structure via HyperNetworks

December 24, 2023

Autoren: Christian Simon, Sen He, Juan-Manuel Perez-Rua, Frost Xu, Amine Benhalloum, Tao Xiang

cs.AI

Zusammenfassung

Die Lösung des Problems der Bild-zu-3D-Rekonstruktion aus einer einzigen Ansicht ist ein schlecht gestelltes Problem, und aktuelle neuronale Rekonstruktionsmethoden, die dies durch Diffusionsmodelle angehen, verlassen sich immer noch auf szenspezifische Optimierung, was ihre Generalisierungsfähigkeit einschränkt. Um die Grenzen bestehender Ansätze in Bezug auf Generalisierung und Konsistenz zu überwinden, führen wir eine neuartige neuronale Rendering-Technik ein. Unser Ansatz verwendet die Signed Distance Function (SDF) als Oberflächendarstellung und integriert generalisierbare Prioritäten durch geometrie-kodierende Volumina und HyperNetworks. Konkret baut unsere Methode neuronale Kodierungsvolumina aus generierten Multi-View-Eingaben auf. Wir passen die Gewichte des SDF-Netzwerks basierend auf einem Eingabebild zur Testzeit an, um die Modellanpassung an neue Szenen in einem Feed-Forward-Verfahren über HyperNetworks zu ermöglichen. Um Artefakte, die aus den synthetisierten Ansichten resultieren, zu minimieren, schlagen wir die Verwendung eines Volume-Transformer-Moduls vor, um die Aggregation von Bildmerkmalen zu verbessern, anstatt jede Ansicht separat zu verarbeiten. Durch unsere vorgeschlagene Methode, die wir Hyper-VolTran nennen, umgehen wir den Engpass der szenspezifischen Optimierung und bewahren die Konsistenz über die aus mehreren Blickwinkeln generierten Bilder hinweg. Unsere Experimente zeigen die Vorteile unseres vorgeschlagenen Ansatzes mit konsistenten Ergebnissen und schneller Generierung.

English

Solving image-to-3D from a single view is an ill-posed problem, and current neural reconstruction methods addressing it through diffusion models still rely on scene-specific optimization, constraining their generalization capability. To overcome the limitations of existing approaches regarding generalization and consistency, we introduce a novel neural rendering technique. Our approach employs the signed distance function as the surface representation and incorporates generalizable priors through geometry-encoding volumes and HyperNetworks. Specifically, our method builds neural encoding volumes from generated multi-view inputs. We adjust the weights of the SDF network conditioned on an input image at test-time to allow model adaptation to novel scenes in a feed-forward manner via HyperNetworks. To mitigate artifacts derived from the synthesized views, we propose the use of a volume transformer module to improve the aggregation of image features instead of processing each viewpoint separately. Through our proposed method, dubbed as Hyper-VolTran, we avoid the bottleneck of scene-specific optimization and maintain consistency across the images generated from multiple viewpoints. Our experiments show the advantages of our proposed approach with consistent results and rapid generation.