Pixal3D : Génération 3D alignée sur les pixels à partir d’images

Résumé

Les avancées récentes des modèles génératifs 3D ont rapidement amélioré la qualité de la synthèse image-vers-3D, permettant d'obtenir une géométrie de plus haute résolution et une apparence plus réaliste. Cependant, la fidélité, qui mesure la conformité au niveau pixel de l'actif 3D généré par rapport à l'image d'entrée, reste un obstacle central. Nous soutenons que cela provient d'un problème implicite de correspondance 2D-3D : la plupart des générateurs natifs 3D synthétisent la forme dans un espace canonique et injectent des indices visuels via l'attention, laissant les associations pixel-3D ambiguës. Pour résoudre ce problème, nous nous inspirons de la reconstruction 3D et proposons Pixal3D, un paradigme de génération 3D aligné sur les pixels pour la création d'actifs 3D de haute fidélité à partir d'images. Au lieu de générer dans une pose canonique, Pixal3D génère directement la 3D de manière alignée sur les pixels, en cohérence avec la vue d'entrée. Pour ce faire, nous introduisons un schéma de conditionnement par rétroprojection des pixels qui élève explicitement les caractéristiques d'image multi-échelles en un volume de caractéristiques 3D, établissant une correspondance pixel-3D directe sans ambiguïté. Nous montrons que Pixal3D est non seulement évolutif et capable de produire des actifs 3D de haute qualité, mais améliore également considérablement la fidélité, approchant le niveau de fidélité de la reconstruction. De plus, Pixal3D s'étend naturellement à la génération multi-vues en agrégeant les volumes de caractéristiques rétroprojetés à travers les vues. Enfin, nous montrons que la génération alignée sur les pixels bénéficie à la synthèse de scènes, et présentons un pipeline modulaire qui produit des scènes 3D de haute fidélité avec objets séparés à partir d'images. Pixal3D démontre pour la première fois la génération alignée sur les pixels à grande échelle avec un générateur natif 3D, et offre une nouvelle voie prometteuse vers la génération 3D de haute fidélité d'objets ou de scènes à partir d'images uniques ou multi-vues. Page du projet : https://ldyang694.github.io/projects/pixal3d/

English

Recent advances in 3D generative models have rapidly improved image-to-3D synthesis quality, enabling higher-resolution geometry and more realistic appearance. Yet fidelity, which measures pixel-level faithfulness of the generated 3D asset to the input image, still remains a central bottleneck. We argue this stems from an implicit 2D-3D correspondence issue: most 3D-native generators synthesize shape in canonical space and inject image cues via attention, leaving pixel-to-3D associations ambiguous. To tackle this issue, we draw inspiration from 3D reconstruction and propose Pixal3D, a pixel-aligned 3D generation paradigm for high-fidelity 3D asset creation from images. Instead of generating in a canonical pose, Pixal3D directly generates 3D in a pixel-aligned way, consistent with the input view. To enable this, we introduce a pixel back-projection conditioning scheme that explicitly lifts multi-scale image features into a 3D feature volume, establishing direct pixel-to-3D correspondence without ambiguity. We show that Pixal3D is not only scalable and capable of producing high-quality 3D assets, but also substantially improves fidelity, approaching the fidelity level of reconstruction. Furthermore, Pixal3D naturally extends to multi-view generation by aggregating back-projected feature volumes across views. Finally, we show pixel-aligned generation benefits scene synthesis, and present a modular pipeline that produces high-fidelity, object-separated 3D scenes from images. Pixal3D for the first time demonstrates 3D-native pixel-aligned generation at scale, and provides a new inspiring way towards high-fidelity 3D generation of object or scene from single or multi-view images. Project page: https://ldyang694.github.io/projects/pixal3d/