SUFLECA: CAD-画像位置合わせのための特徴学習の拡大

要旨

CAD-to-imageアラインメントは、単一のRGB画像から物体の9次元姿勢（回転、平行移動、異方性スケール）を推定することを目的とし、ロボティクスや拡張現実における応用を可能にする。近年のゼロショット手法では、視覚基盤モデルを用いて画像領域とCADモデルを対応付けるが、典型的にはその対応関係は見た目に依存しており、オクルージョンやシミュレーションから実世界へのドメインシフトの下で性能が低下する。これらの限界に対処するため、我々はSUFLECA（Scaling Up Feature LEarning for CAD Alignment）を提案する。これはゼロショットCADアラインメントのための弱教師ありフレームワークであり、2つの主要な貢献を持つ。第一に、SUFLECAは、12の実世界および合成データセットにわたる674K画像に対する標準化物体座標（NOC）の教師信号を通じて、事前学習済み視覚表現から幾何学的に基づいた特徴学習をスケールアップし、ドメイン間で汎化するコンパクトな幾何認識特徴を学習する。第二に、信頼性の高い1対1のCAD-to-image対応関係を確立する幾何学的に一貫したマッチングアルゴリズムを提案する。これらの貢献により、反復的な姿勢最適化を必要とせず、物体インスタンスごとにサブ秒単位で正確なアラインメントを実現する。ScanNet25kにおいて、SUFLECAはカテゴリ精度33.4%、インスタンス精度42.3%を達成し、より小さな計算負荷で、最強のゼロショットベースラインを10.3/12.2パーセントポイント上回り、このベンチマークで初めて完全教師あり手法をも凌駕する。コードは以下で入手可能: https://github.com/snt-arg/SUFLECA

English

CAD-to-image alignment aims to estimate an object's 9D pose (rotation, translation, and anisotropic scale) from a single RGB image, enabling applications in robotics and augmented reality. Recent zero-shot methods use visual foundation models to match image regions to CAD models, yet typically their correspondences are appearance-driven and degrade under occlusion or sim-to-real domain shift. To address these limitations, we introduce SUFLECA (Scaling Up Feature LEarning for CAD Alignment), a weakly-supervised framework for zero-shot CAD alignment with two key contributions. First, SUFLECA scales up geometry-grounded feature learning from pretrained visual representations through Normalized Object Coordinates (NOCs) supervision on 674K images spanning 12 real and synthetic datasets, learning compact geometry-aware features that generalize across domains. Second, we propose a geometrically consistent matching algorithm that establishes reliable one-to-one CAD-to-image correspondences. Together, these contributions enable accurate, sub-second alignment per object instance without iterative pose refinement. On ScanNet25k, SUFLECA achieves 33.4%/42.3% category/instance accuracy, outperforming, with a smaller computational footprint, the strongest zero-shot baseline by 10.3/12.2 percentage points and, for the first time on this benchmark, even surpassing fully supervised methods. Code is available at: https://github.com/snt-arg/SUFLECA