SAM 3: Segmentieren von allem mit Konzepten
SAM 3: Segment Anything with Concepts
November 20, 2025
papers.authors: Nicolas Carion, Laura Gustafson, Yuan-Ting Hu, Shoubhik Debnath, Ronghang Hu, Didac Suris, Chaitanya Ryali, Kalyan Vasudev Alwala, Haitham Khedr, Andrew Huang, Jie Lei, Tengyu Ma, Baishan Guo, Arpit Kalla, Markus Marks, Joseph Greer, Meng Wang, Peize Sun, Roman Rädle, Triantafyllos Afouras, Effrosyni Mavroudi, Katherine Xu, Tsung-Han Wu, Yu Zhou, Liliane Momeni, Rishi Hazra, Shuangrui Ding, Sagar Vaze, Francois Porcher, Feng Li, Siyuan Li, Aishwarya Kamath, Ho Kei Cheng, Piotr Dollár, Nikhila Ravi, Kate Saenko, Pengchuan Zhang, Christoph Feichtenhofer
cs.AI
papers.abstract
Wir stellen Segment Anything Model (SAM) 3 vor, ein vereinheitlichtes Modell, das Objekte in Bildern und Videos auf der Grundlage von Konzeptprompts erkennt, segmentiert und verfolgt. Wir definieren diese Prompts entweder als kurze Nominalphrasen (z.B. "gelber Schulbus"), als Bildbeispiele oder als eine Kombination aus beidem. Promptable Concept Segmentation (PCS) verarbeitet solche Prompts und liefert Segmentierungsmasken sowie eindeutige Identitäten für alle übereinstimmenden Objektinstanzen. Um PCS voranzutreiben, haben wir eine skalierbare Daten-Engine entwickelt, die einen hochwertigen Datensatz mit 4M einzigartigen Konzeptlabels erzeugt, darunter auch schwierige Negative, über Bilder und Videos hinweg. Unser Modell besteht aus einem bildbasierten Detektor und einem speicherbasierten Video-Tracker, die sich ein gemeinsames Backbone teilen. Erkennung und Lokalisierung werden durch einen sogenannten Presence Head entkoppelt, was die Detektionsgenauigkeit steigert. SAM 3 verdoppelt die Genauigkeit bestehender Systeme sowohl bei der Bild- als auch bei der Video-PCS und verbessert die bisherigen SAM-Fähigkeiten bei visuellen Segmentierungsaufgaben. Wir veröffentlichen SAM 3 als Open Source zusammen mit unserem neuen Segment Anything with Concepts (SA-Co) Benchmark für die promptbare Konzeptsegmentierung.
English
We present Segment Anything Model (SAM) 3, a unified model that detects, segments, and tracks objects in images and videos based on concept prompts, which we define as either short noun phrases (e.g., "yellow school bus"), image exemplars, or a combination of both. Promptable Concept Segmentation (PCS) takes such prompts and returns segmentation masks and unique identities for all matching object instances. To advance PCS, we build a scalable data engine that produces a high-quality dataset with 4M unique concept labels, including hard negatives, across images and videos. Our model consists of an image-level detector and a memory-based video tracker that share a single backbone. Recognition and localization are decoupled with a presence head, which boosts detection accuracy. SAM 3 doubles the accuracy of existing systems in both image and video PCS, and improves previous SAM capabilities on visual segmentation tasks. We open source SAM 3 along with our new Segment Anything with Concepts (SA-Co) benchmark for promptable concept segmentation.