UniRecGen: Унификация многовидовой 3D-реконструкции и генерации

UniRecGen: Unifying Multi-View 3D Reconstruction and Generation

April 1, 2026

Авторы: Zhisheng Huang, Jiahao Chen, Cheng Lin, Chenyu Hu, Hanzhuo Huang, Zhengming Yu, Mengfei Li, Yuheng Liu, Zekai Gu, Zibo Zhao, Yuan Liu, Xin Li, Wenping Wang

cs.AI

Аннотация

Разреженное 3D-моделирование отражает фундаментальное противоречие между точностью реконструкции и правдоподобностью генерации. Прямая реконструкция превосходит по эффективности и соответствию входным данным, но часто лишена глобальных априорных знаний, необходимых для структурной целостности. В свою очередь, диффузионная генерация обеспечивает богатые геометрические детали, но испытывает трудности с согласованностью многовидовых проекций. Мы представляем UniRecGen — унифицированную структуру, интегрирующую эти две парадигмы в единую кооперативную систему. Для преодоления inherentных конфликтов в координатных пространствах, 3D-представлениях и целевых функциях обучения мы выравниваем обе модели в общем каноническом пространстве. Мы применяем разъединенное кооперативное обучение, которое обеспечивает стабильность тренировки при сохранении бесшовного взаимодействия на этапе вывода. В частности, модуль реконструкции адаптирован для предоставления канонических геометрических якорей, в то время как диффузионный генератор использует латентно-усиленное кондиционирование для уточнения и завершения геометрической структуры. Экспериментальные результаты демонстрируют, что UniRecGen достигает превосходной точности и устойчивости, превосходя существующие методы в создании полных и согласованных 3D-моделей по разреженным наблюдениям.

English

Sparse-view 3D modeling represents a fundamental tension between reconstruction fidelity and generative plausibility. While feed-forward reconstruction excels in efficiency and input alignment, it often lacks the global priors needed for structural completeness. Conversely, diffusion-based generation provides rich geometric details but struggles with multi-view consistency. We present UniRecGen, a unified framework that integrates these two paradigms into a single cooperative system. To overcome inherent conflicts in coordinate spaces, 3D representations, and training objectives, we align both models within a shared canonical space. We employ disentangled cooperative learning, which maintains stable training while enabling seamless collaboration during inference. Specifically, the reconstruction module is adapted to provide canonical geometric anchors, while the diffusion generator leverages latent-augmented conditioning to refine and complete the geometric structure. Experimental results demonstrate that UniRecGen achieves superior fidelity and robustness, outperforming existing methods in creating complete and consistent 3D models from sparse observations.