SAM2Point: 제로샷 및 프롬프트 가능한 방식으로 3D를 비디오로 세그먼트화

초록

우리는 Segment Anything Model 2(SAM 2)를 제로샷 및 프롬프트 가능한 3D 세그멘테이션에 적용한 예비 탐구인 SAM2Point를 소개합니다. SAM2Point는 모든 3D 데이터를 다방향 비디오 시리즈로 해석하고, 추가적인 학습이나 2D-3D 투영 없이 SAM 2를 활용하여 3D 공간 세그멘테이션을 수행합니다. 우리의 프레임워크는 3D 포인트, 박스, 마스크 등 다양한 프롬프트 유형을 지원하며, 3D 객체, 실내 장면, 야외 환경, 원시 희소 LiDAR와 같은 다양한 시나리오에 일반화할 수 있습니다. Objaverse, S3DIS, ScanNet, Semantic3D, KITTI 등 여러 3D 데이터셋에서의 데모는 SAM2Point의 강력한 일반화 능력을 보여줍니다. 우리가 아는 한, 이는 3D에서 SAM을 가장 충실하게 구현한 것으로, 프롬프트 가능한 3D 세그멘테이션에 대한 향후 연구의 출발점이 될 수 있습니다. 온라인 데모: https://huggingface.co/spaces/ZiyuG/SAM2Point . 코드: https://github.com/ZiyuGuo99/SAM2Point .

English

We introduce SAM2Point, a preliminary exploration adapting Segment Anything Model 2 (SAM 2) for zero-shot and promptable 3D segmentation. SAM2Point interprets any 3D data as a series of multi-directional videos, and leverages SAM 2 for 3D-space segmentation, without further training or 2D-3D projection. Our framework supports various prompt types, including 3D points, boxes, and masks, and can generalize across diverse scenarios, such as 3D objects, indoor scenes, outdoor environments, and raw sparse LiDAR. Demonstrations on multiple 3D datasets, e.g., Objaverse, S3DIS, ScanNet, Semantic3D, and KITTI, highlight the robust generalization capabilities of SAM2Point. To our best knowledge, we present the most faithful implementation of SAM in 3D, which may serve as a starting point for future research in promptable 3D segmentation. Online Demo: https://huggingface.co/spaces/ZiyuG/SAM2Point . Code: https://github.com/ZiyuGuo99/SAM2Point .

SAM2Point: 제로샷 및 프롬프트 가능한 방식으로 3D를 비디오로 세그먼트화

SAM2Point: Segment Any 3D as Videos in Zero-shot and Promptable Manners

초록

Support