UniRecGen : Unification de la reconstruction et de la génération 3D multivues
UniRecGen: Unifying Multi-View 3D Reconstruction and Generation
April 1, 2026
Auteurs: Zhisheng Huang, Jiahao Chen, Cheng Lin, Chenyu Hu, Hanzhuo Huang, Zhengming Yu, Mengfei Li, Yuheng Liu, Zekai Gu, Zibo Zhao, Yuan Liu, Xin Li, Wenping Wang
cs.AI
Résumé
La modélisation 3D à partir de vues éparses représente une tension fondamentale entre la fidélité de reconstruction et la plausibilité générative. Alors que la reconstruction par propagation avant excelle en efficacité et alignement avec l'entrée, elle manque souvent des connaissances a priori globales nécessaires à l'intégrité structurelle. Inversement, la génération par diffusion fournit des détails géométriques riches mais peine avec la cohérence multi-vues. Nous présentons UniRecGen, un cadre unifié intégrant ces deux paradigmes en un système coopératif unique. Pour surmonter les conflits inhérents aux espaces de coordonnées, représentations 3D et objectifs d'apprentissage, nous alignons les deux modèles dans un espace canonique partagé. Nous employons un apprentissage coopératif désentrelacé, maintenant un entraînement stable tout en permettant une collaboration transparente lors de l'inférence. Spécifiquement, le module de reconstruction est adapté pour fournir des ancrages géométriques canoniques, tandis que le générateur par diffusion exploite un conditionnement à latents augmentés pour affiner et compléter la structure géométrique. Les résultats expérimentaux démontrent qu'UniRecGen atteint une fidélité et une robustesse supérieures, surpassant les méthodes existantes dans la création de modèles 3D complets et cohérents à partir d'observations éparses.
English
Sparse-view 3D modeling represents a fundamental tension between reconstruction fidelity and generative plausibility. While feed-forward reconstruction excels in efficiency and input alignment, it often lacks the global priors needed for structural completeness. Conversely, diffusion-based generation provides rich geometric details but struggles with multi-view consistency. We present UniRecGen, a unified framework that integrates these two paradigms into a single cooperative system. To overcome inherent conflicts in coordinate spaces, 3D representations, and training objectives, we align both models within a shared canonical space. We employ disentangled cooperative learning, which maintains stable training while enabling seamless collaboration during inference. Specifically, the reconstruction module is adapted to provide canonical geometric anchors, while the diffusion generator leverages latent-augmented conditioning to refine and complete the geometric structure. Experimental results demonstrate that UniRecGen achieves superior fidelity and robustness, outperforming existing methods in creating complete and consistent 3D models from sparse observations.