SAM 3 : Segmenter n'importe quoi avec des concepts
SAM 3: Segment Anything with Concepts
November 20, 2025
papers.authors: Nicolas Carion, Laura Gustafson, Yuan-Ting Hu, Shoubhik Debnath, Ronghang Hu, Didac Suris, Chaitanya Ryali, Kalyan Vasudev Alwala, Haitham Khedr, Andrew Huang, Jie Lei, Tengyu Ma, Baishan Guo, Arpit Kalla, Markus Marks, Joseph Greer, Meng Wang, Peize Sun, Roman Rädle, Triantafyllos Afouras, Effrosyni Mavroudi, Katherine Xu, Tsung-Han Wu, Yu Zhou, Liliane Momeni, Rishi Hazra, Shuangrui Ding, Sagar Vaze, Francois Porcher, Feng Li, Siyuan Li, Aishwarya Kamath, Ho Kei Cheng, Piotr Dollár, Nikhila Ravi, Kate Saenko, Pengchuan Zhang, Christoph Feichtenhofer
cs.AI
papers.abstract
Nous présentons Segment Anything Model (SAM) 3, un modèle unifié qui détecte, segmente et suit des objets dans des images et des vidéos sur la base d'invites conceptuelles, que nous définissons comme de courtes phrases nominales (par exemple, "bus scolaire jaune"), des exemples d'images ou une combinaison des deux. La Segmentation par Concepts Invitables (PCS) prend de telles invites et renvoie des masques de segmentation et des identifiants uniques pour toutes les instances d'objets correspondantes. Pour faire progresser la PCS, nous avons construit un moteur de données évolutif qui produit un jeu de données de haute qualité avec 4 millions d'étiquettes de concepts uniques, incluant des négatifs difficiles, sur des images et des vidéos. Notre modèle se compose d'un détecteur au niveau de l'image et d'un suiveur vidéo à mémoire qui partagent une seule architecture de base. La reconnaissance et la localisation sont découplées grâce à une tête de présence, ce qui améliore la précision de la détection. SAM 3 double la précision des systèmes existants pour la PCS en image et en vidéo, et améliore les capacités précédentes de SAM sur les tâches de segmentation visuelle. Nous rendons SAM 3 open source ainsi que notre nouveau benchmark Segment Anything with Concepts (SA-Co) pour la segmentation par concepts invitables.
English
We present Segment Anything Model (SAM) 3, a unified model that detects, segments, and tracks objects in images and videos based on concept prompts, which we define as either short noun phrases (e.g., "yellow school bus"), image exemplars, or a combination of both. Promptable Concept Segmentation (PCS) takes such prompts and returns segmentation masks and unique identities for all matching object instances. To advance PCS, we build a scalable data engine that produces a high-quality dataset with 4M unique concept labels, including hard negatives, across images and videos. Our model consists of an image-level detector and a memory-based video tracker that share a single backbone. Recognition and localization are decoupled with a presence head, which boosts detection accuracy. SAM 3 doubles the accuracy of existing systems in both image and video PCS, and improves previous SAM capabilities on visual segmentation tasks. We open source SAM 3 along with our new Segment Anything with Concepts (SA-Co) benchmark for promptable concept segmentation.