UniRecGen: Unificatie van Multi-View 3D-reconstructie en -generatie
UniRecGen: Unifying Multi-View 3D Reconstruction and Generation
April 1, 2026
Auteurs: Zhisheng Huang, Jiahao Chen, Cheng Lin, Chenyu Hu, Hanzhuo Huang, Zhengming Yu, Mengfei Li, Yuheng Liu, Zekai Gu, Zibo Zhao, Yuan Liu, Xin Li, Wenping Wang
cs.AI
Samenvatting
Sparse-view 3D-modellering belichaamt een fundamentele spanning tussen reconstructietrouw en generatieve geloofwaardigheid. Hoewel voorwaartse reconstructie uitblinkt in efficiëntie en inputovereenstemming, ontbreekt het vaak aan de globale prior kennis die nodig is voor structurele volledigheid. Omgekeerd biedt diffusiegebaseerde generatie rijke geometrische details, maar worstelt het met multi-view consistentie. Wij presenteren UniRecGen, een unified framework dat deze twee paradigma's integreert in een enkel coöperatief systeem. Om inherente conflicten in coördinaatruimten, 3D-representaties en trainingsdoelen te overwinnen, aligneren we beide modellen binnen een gedeelde canonieke ruimte. Wij passen ontvlochten coöperatief leren toe, wat een stabiele training handhaaft terwijl het naadloze samenwerking tijdens inferentie mogelijk maakt. Specifiek is de reconstructiemodule aangepast om canonieke geometrische ankers te bieden, terwijl de diffusiegenerator gebruikmaakt van latent-augmented conditioning om de geometrische structuur te verfijnen en te voltooien. Experimentele resultaten tonen aan dat UniRecGen superieure trouw en robuustheid bereikt, en daarmee bestaande methoden overtreft in het creëren van complete en consistente 3D-modellen uit schaarse observaties.
English
Sparse-view 3D modeling represents a fundamental tension between reconstruction fidelity and generative plausibility. While feed-forward reconstruction excels in efficiency and input alignment, it often lacks the global priors needed for structural completeness. Conversely, diffusion-based generation provides rich geometric details but struggles with multi-view consistency. We present UniRecGen, a unified framework that integrates these two paradigms into a single cooperative system. To overcome inherent conflicts in coordinate spaces, 3D representations, and training objectives, we align both models within a shared canonical space. We employ disentangled cooperative learning, which maintains stable training while enabling seamless collaboration during inference. Specifically, the reconstruction module is adapted to provide canonical geometric anchors, while the diffusion generator leverages latent-augmented conditioning to refine and complete the geometric structure. Experimental results demonstrate that UniRecGen achieves superior fidelity and robustness, outperforming existing methods in creating complete and consistent 3D models from sparse observations.