C-GenReg : Enregistrement de nuages de points 3D sans apprentissage par génération géométrie-vers-image multi-vues cohérente avec fusion probabiliste de modalités

C-GenReg: Training-Free 3D Point Cloud Registration by Multi-View-Consistent Geometry-to-Image Generation with Probabilistic Modalities Fusion

April 17, 2026

Auteurs: Yuval Haitman, Amit Efraim, Joseph M. Francos

cs.AI

Résumé

Nous présentons C-GenReg, un cadre sans apprentissage pour l'alignement de nuages de points 3D qui exploite les forces complémentaires des modèles génératifs à l'échelle mondiale et des modèles de fondation vision (VFMs) orientés registration. Les méthodes d'alignement de nuages de points 3D actuelles basées sur l'apprentissage peinent à généraliser across les modalités de capture, les différences d'échantillonnage et les environnements. Par conséquent, C-GenReg enrichit la branche géométrique d'alignement en transférant le problème de mise en correspondance dans un domaine image auxiliaire, où les VFMs excellent, en utilisant un modèle de fondation mondial pour synthétiser des représentations RGB cohérentes en multivues à partir de la géométrie d'entrée. Ce transfert génératif préserve la cohérence spatiale entre les vues source et cible sans aucun ajustement fin. À partir de ces vues générées, un VFM pré-entraîné pour trouver des correspondances denses extrait des appariements. Les correspondances de pixels résultantes sont projetées en 3D via les cartes de profondeur originales. Pour renforcer la robustesse, nous introduisons un schéma de fusion froide probabiliste « Match-then-Fuse » qui combine deux distributions a posteriori de correspondances indépendantes : celle de la branche RGB générée et celle de la branche géométrique brute. Cette fusion probabiliste préserve le biais inductif de chaque modalité et fournit une confiance calibrée sans apprentissage supplémentaire. C-GenReg est zero-shot et plug-and-play : tous les modules sont pré-entraînés et fonctionnent sans ajustement fin. Des expériences approfondies sur des benchmarks intérieurs (3DMatch, ScanNet) et extérieurs (Waymo) démontrent de solides performances zero-shot et une généralisation cross-domain supérieure. Pour la première fois, nous démontrons un cadre d'alignement génératif qui fonctionne avec succès sur des données LiDAR extérieures réelles, où aucune donnée d'imagerie n'est disponible.

English

We introduce C-GenReg, a training-free framework for 3D point cloud registration that leverages the complementary strengths of world-scale generative priors and registration-oriented Vision Foundation Models (VFMs). Current learning-based 3D point cloud registration methods struggle to generalize across sensing modalities, sampling differences, and environments. Hence, C-GenReg augments the geometric point cloud registration branch by transferring the matching problem into an auxiliary image domain, where VFMs excel, using a World Foundation Model to synthesize multi-view-consistent RGB representations from the input geometry. This generative transfer, preserves spatial coherence across source and target views without any fine-tuning. From these generated views, a VFM pretrained for finding dense correspondences extracts matches. The resulting pixel correspondences are lifted back to 3D via the original depth maps. To further enhance robustness, we introduce a "Match-then-Fuse" probabilistic cold-fusion scheme that combines two independent correspondence posteriors, that of the generated-RGB branch with that of the raw geometric branch. This principled fusion preserves each modality inductive bias and provides calibrated confidence without any additional learning. C-GenReg is zero-shot and plug-and-play: all modules are pretrained and operate without fine-tuning. Extensive experiments on indoor (3DMatch, ScanNet) and outdoor (Waymo) benchmarks demonstrate strong zero-shot performance and superior cross-domain generalization. For the first time, we demonstrate a generative registration framework that operates successfully on real outdoor LiDAR data, where no imagery data is available.