SAM 3: Segmentar Qualquer Coisa com Conceitos
SAM 3: Segment Anything with Concepts
November 20, 2025
Autores: Nicolas Carion, Laura Gustafson, Yuan-Ting Hu, Shoubhik Debnath, Ronghang Hu, Didac Suris, Chaitanya Ryali, Kalyan Vasudev Alwala, Haitham Khedr, Andrew Huang, Jie Lei, Tengyu Ma, Baishan Guo, Arpit Kalla, Markus Marks, Joseph Greer, Meng Wang, Peize Sun, Roman Rädle, Triantafyllos Afouras, Effrosyni Mavroudi, Katherine Xu, Tsung-Han Wu, Yu Zhou, Liliane Momeni, Rishi Hazra, Shuangrui Ding, Sagar Vaze, Francois Porcher, Feng Li, Siyuan Li, Aishwarya Kamath, Ho Kei Cheng, Piotr Dollár, Nikhila Ravi, Kate Saenko, Pengchuan Zhang, Christoph Feichtenhofer
cs.AI
Resumo
Apresentamos o Segment Anything Model (SAM) 3, um modelo unificado que deteta, segmenta e rastreia objetos em imagens e vídeos com base em *prompts* conceptuais, que definimos como frases nominais curtas (por exemplo, "autocarro escolar amarelo"), exemplos de imagem ou uma combinação de ambos. A Segmentação de Conceitos por *Prompt* (PCS) recebe esses *prompts* e retorna máscaras de segmentação e identidades únicas para todas as instâncias de objetos correspondentes. Para avançar a PCS, construímos um motor de dados escalável que produz um conjunto de dados de alta qualidade com 4M etiquetas conceptuais únicas, incluindo negativos difíceis, em imagens e vídeos. O nosso modelo consiste num detetor a nível de imagem e num rastreador de vídeo baseado em memória que partilham uma única *backbone*. O reconhecimento e a localização são desacoplados com um *head* de presença, que aumenta a precisão da deteção. O SAM 3 duplica a precisão dos sistemas existentes tanto na PCS de imagem como de vídeo e melhora as capacidades anteriores do SAM em tarefas de segmentação visual. Disponibilizamos em código aberto o SAM 3, juntamente com o nosso novo *benchmark* Segment Anything with Concepts (SA-Co) para a segmentação de conceitos por *prompt*.
English
We present Segment Anything Model (SAM) 3, a unified model that detects, segments, and tracks objects in images and videos based on concept prompts, which we define as either short noun phrases (e.g., "yellow school bus"), image exemplars, or a combination of both. Promptable Concept Segmentation (PCS) takes such prompts and returns segmentation masks and unique identities for all matching object instances. To advance PCS, we build a scalable data engine that produces a high-quality dataset with 4M unique concept labels, including hard negatives, across images and videos. Our model consists of an image-level detector and a memory-based video tracker that share a single backbone. Recognition and localization are decoupled with a presence head, which boosts detection accuracy. SAM 3 doubles the accuracy of existing systems in both image and video PCS, and improves previous SAM capabilities on visual segmentation tasks. We open source SAM 3 along with our new Segment Anything with Concepts (SA-Co) benchmark for promptable concept segmentation.