SAM2Point: Segmentiere beliebige 3D-Daten als Videos in Zero-Shot und promptfähiger Weise

SAM2Point: Segment Any 3D as Videos in Zero-shot and Promptable Manners

August 29, 2024

papers.authors: Ziyu Guo, Renrui Zhang, Xiangyang Zhu, Chengzhuo Tong, Peng Gao, Chunyuan Li, Pheng-Ann Heng

cs.AI

papers.abstract

Wir stellen SAM2Point vor, eine erste Exploration zur Anpassung des Segment Anything Model 2 (SAM 2) für die Zero-Shot- und promptbare 3D-Segmentierung. SAM2Point interpretiert beliebige 3D-Daten als eine Reihe von multidirektionalen Videos und nutzt SAM 2 für die Segmentierung im 3D-Raum, ohne zusätzliches Training oder 2D-3D-Projektion. Unser Framework unterstützt verschiedene Prompt-Typen, einschließlich 3D-Punkten, Boxen und Masken, und kann sich auf unterschiedliche Szenarien verallgemeinern, wie 3D-Objekte, Innenräume, Außenumgebungen und rohe, spärliche LiDAR-Daten. Demonstrationen auf mehreren 3D-Datensätzen, z. B. Objaverse, S3DIS, ScanNet, Semantic3D und KITTI, unterstreichen die robusten Generalisierungsfähigkeiten von SAM2Point. Nach bestem Wissen präsentieren wir die bisher treueste Implementierung von SAM in 3D, die als Ausgangspunkt für zukünftige Forschungen zur promptbaren 3D-Segmentierung dienen kann. Online-Demo: https://huggingface.co/spaces/ZiyuG/SAM2Point. Code: https://github.com/ZiyuGuo99/SAM2Point.

English

We introduce SAM2Point, a preliminary exploration adapting Segment Anything Model 2 (SAM 2) for zero-shot and promptable 3D segmentation. SAM2Point interprets any 3D data as a series of multi-directional videos, and leverages SAM 2 for 3D-space segmentation, without further training or 2D-3D projection. Our framework supports various prompt types, including 3D points, boxes, and masks, and can generalize across diverse scenarios, such as 3D objects, indoor scenes, outdoor environments, and raw sparse LiDAR. Demonstrations on multiple 3D datasets, e.g., Objaverse, S3DIS, ScanNet, Semantic3D, and KITTI, highlight the robust generalization capabilities of SAM2Point. To our best knowledge, we present the most faithful implementation of SAM in 3D, which may serve as a starting point for future research in promptable 3D segmentation. Online Demo: https://huggingface.co/spaces/ZiyuG/SAM2Point . Code: https://github.com/ZiyuGuo99/SAM2Point .