UniRecGen: Vereinheitlichung von Multi-View-3D-Rekonstruktion und -Generierung
UniRecGen: Unifying Multi-View 3D Reconstruction and Generation
April 1, 2026
Autoren: Zhisheng Huang, Jiahao Chen, Cheng Lin, Chenyu Hu, Hanzhuo Huang, Zhengming Yu, Mengfei Li, Yuheng Liu, Zekai Gu, Zibo Zhao, Yuan Liu, Xin Li, Wenping Wang
cs.AI
Zusammenfassung
Sparse-View-3D-Modellierung verkörpert einen grundlegenden Zielkonflikt zwischen Rekonstruktionstreue und generativer Plausibilität. Während Vorwärtsrekonstruktion Effizienz und Eingabeausrichtung bietet, mangelt es ihr oft an globalen Priors für strukturelle Vollständigkeit. Im Gegensatz dazu liefert diffusionsbasierte Generierung reiche geometrische Details, hat jedoch Schwierigkeiten mit Multi-View-Konsistenz. Wir stellen UniRecGen vor, einen vereinheitlichten Rahmen, der diese beiden Paradigmen in ein einziges kooperatives System integriert. Um inhärente Konflikte in Koordinatenräumen, 3D-Repräsentationen und Trainingszielen zu überwinden, bringen wir beide Modelle in einem gemeinsamen kanonischen Raum in Einklang. Wir verwenden disentangled cooperative learning (entflochtenes kooperatives Lernen), das stabiles Training gewährleistet und gleichzeitig nahtlose Zusammenarbeit während der Inferenz ermöglicht. Konkret wird das Rekonstruktionsmodul angepasst, um kanonische geometrische Ankerpunkte bereitzustellen, während der Diffusionsgenerator latente augmentierte Konditionierung nutzt, um die geometrische Struktur zu verfeinern und zu vervollständigen. Experimentelle Ergebnisse zeigen, dass UniRecGen überlegene Treue und Robustheit erreicht und bestehende Methoden bei der Erstellung vollständiger und konsistenter 3D-Modelle aus spärlichen Beobachtungen übertrifft.
English
Sparse-view 3D modeling represents a fundamental tension between reconstruction fidelity and generative plausibility. While feed-forward reconstruction excels in efficiency and input alignment, it often lacks the global priors needed for structural completeness. Conversely, diffusion-based generation provides rich geometric details but struggles with multi-view consistency. We present UniRecGen, a unified framework that integrates these two paradigms into a single cooperative system. To overcome inherent conflicts in coordinate spaces, 3D representations, and training objectives, we align both models within a shared canonical space. We employ disentangled cooperative learning, which maintains stable training while enabling seamless collaboration during inference. Specifically, the reconstruction module is adapted to provide canonical geometric anchors, while the diffusion generator leverages latent-augmented conditioning to refine and complete the geometric structure. Experimental results demonstrate that UniRecGen achieves superior fidelity and robustness, outperforming existing methods in creating complete and consistent 3D models from sparse observations.