SUFLECA: CAD-이미지 정렬을 위한 특징 학습 확장

초록

CAD-이미지 정렬은 단일 RGB 이미지에서 객체의 9D 자세(회전, 이동, 비등방 스케일)를 추정하는 것을 목표로 하며, 로보틱스와 증강 현실 분야에 적용될 수 있습니다. 최근의 제로샷 방법들은 시각적 기반 모델을 사용하여 이미지 영역과 CAD 모델을 매칭하지만, 일반적으로 이러한 대응 관계는 외관 기반이며 폐색이나 시뮬레이션-실제 도메인 변화 하에서 성능이 저하됩니다. 이러한 한계를 해결하기 위해, 우리는 SUFLECA(Scaling Up Feature LEarning for CAD Alignment)를 소개합니다. 이는 제로샷 CAD 정렬을 위한 약지도 학습 프레임워크로, 두 가지 주요 기여를 합니다. 첫째, SUFLECA는 12개의 실제 및 합성 데이터셋에 걸친 674K 이미지에 대해 Normalized Object Coordinates(NOCs) 감독을 통해 사전 학습된 시각적 표현으로부터 기하학 기반 특징 학습을 확장하여, 도메인 간 일반화되는 컴팩트한 기하학 인식 특징을 학습합니다. 둘째, 우리는 신뢰할 수 있는 일대일 CAD-이미지 대응 관계를 구축하는 기하학적으로 일관된 매칭 알고리즘을 제안합니다. 이러한 기여를 통해 반복적인 자세 정제 없이도 객체 인스턴스당 정확하고 서브초 단위의 정렬이 가능합니다. ScanNet25k 데이터셋에서 SUFLECA는 33.4%/42.3%의 카테고리/인스턴스 정확도를 달성하여, 더 작은 계산 비용으로 가장 강력한 제로샷 기준선을 10.3/12.2 퍼센트 포인트 초과하였으며, 이 벤치마크에서 처음으로 완전 지도 학습 방법조차 능가했습니다. 코드는 https://github.com/snt-arg/SUFLECA 에서 확인할 수 있습니다.

English

CAD-to-image alignment aims to estimate an object's 9D pose (rotation, translation, and anisotropic scale) from a single RGB image, enabling applications in robotics and augmented reality. Recent zero-shot methods use visual foundation models to match image regions to CAD models, yet typically their correspondences are appearance-driven and degrade under occlusion or sim-to-real domain shift. To address these limitations, we introduce SUFLECA (Scaling Up Feature LEarning for CAD Alignment), a weakly-supervised framework for zero-shot CAD alignment with two key contributions. First, SUFLECA scales up geometry-grounded feature learning from pretrained visual representations through Normalized Object Coordinates (NOCs) supervision on 674K images spanning 12 real and synthetic datasets, learning compact geometry-aware features that generalize across domains. Second, we propose a geometrically consistent matching algorithm that establishes reliable one-to-one CAD-to-image correspondences. Together, these contributions enable accurate, sub-second alignment per object instance without iterative pose refinement. On ScanNet25k, SUFLECA achieves 33.4%/42.3% category/instance accuracy, outperforming, with a smaller computational footprint, the strongest zero-shot baseline by 10.3/12.2 percentage points and, for the first time on this benchmark, even surpassing fully supervised methods. Code is available at: https://github.com/snt-arg/SUFLECA