SAM 3: Segmentare Oggetti con Concetti
SAM 3: Segment Anything with Concepts
November 20, 2025
Autori: Nicolas Carion, Laura Gustafson, Yuan-Ting Hu, Shoubhik Debnath, Ronghang Hu, Didac Suris, Chaitanya Ryali, Kalyan Vasudev Alwala, Haitham Khedr, Andrew Huang, Jie Lei, Tengyu Ma, Baishan Guo, Arpit Kalla, Markus Marks, Joseph Greer, Meng Wang, Peize Sun, Roman Rädle, Triantafyllos Afouras, Effrosyni Mavroudi, Katherine Xu, Tsung-Han Wu, Yu Zhou, Liliane Momeni, Rishi Hazra, Shuangrui Ding, Sagar Vaze, Francois Porcher, Feng Li, Siyuan Li, Aishwarya Kamath, Ho Kei Cheng, Piotr Dollár, Nikhila Ravi, Kate Saenko, Pengchuan Zhang, Christoph Feichtenhofer
cs.AI
Abstract
Presentiamo Segment Anything Model (SAM) 3, un modello unificato in grado di rilevare, segmentare e tracciare oggetti in immagini e video sulla base di prompt concettuali, che definiamo come brevi frasi nominali (ad esempio, "scuolabus giallo"), esempi immagine o una combinazione di entrambi. La Promptable Concept Segmentation (PCS) accetta tali prompt e restituisce maschere di segmentazione e identità univoche per tutte le istanze di oggetti corrispondenti. Per far progredire la PCS, abbiamo costruito un motore di dati scalabile che produce un dataset di alta qualità con 4 milioni di etichette concettuali uniche, inclusi hard negative, su immagini e video. Il nostro modello è composto da un rilevatore a livello di immagine e da un tracker video basato su memoria che condividono un'unica backbone. Il riconoscimento e la localizzazione sono disaccoppiati mediante una testa di presenza, che migliora l'accuratezza del rilevamento. SAM 3 raddoppia l'accuratezza dei sistemi esistenti sia nella PCS su immagini che su video e migliora le precedenti capacità di SAM nelle attività di segmentazione visiva. RendiAMo open source SAM 3 insieme al nostro nuovo benchmark Segment Anything with Concepts (SA-Co) per la segmentazione concettuale promptabile.
English
We present Segment Anything Model (SAM) 3, a unified model that detects, segments, and tracks objects in images and videos based on concept prompts, which we define as either short noun phrases (e.g., "yellow school bus"), image exemplars, or a combination of both. Promptable Concept Segmentation (PCS) takes such prompts and returns segmentation masks and unique identities for all matching object instances. To advance PCS, we build a scalable data engine that produces a high-quality dataset with 4M unique concept labels, including hard negatives, across images and videos. Our model consists of an image-level detector and a memory-based video tracker that share a single backbone. Recognition and localization are decoupled with a presence head, which boosts detection accuracy. SAM 3 doubles the accuracy of existing systems in both image and video PCS, and improves previous SAM capabilities on visual segmentation tasks. We open source SAM 3 along with our new Segment Anything with Concepts (SA-Co) benchmark for promptable concept segmentation.