SAM 2 : Segmentation de tout élément dans les images et les vidéos

SAM 2: Segment Anything in Images and Videos

August 1, 2024

Auteurs: Nikhila Ravi, Valentin Gabeur, Yuan-Ting Hu, Ronghang Hu, Chaitanya Ryali, Tengyu Ma, Haitham Khedr, Roman Rädle, Chloe Rolland, Laura Gustafson, Eric Mintun, Junting Pan, Kalyan Vasudev Alwala, Nicolas Carion, Chao-Yuan Wu, Ross Girshick, Piotr Dollár, Christoph Feichtenhofer

cs.AI

Résumé

Nous présentons Segment Anything Model 2 (SAM 2), un modèle de base visant à résoudre la segmentation visuelle pilotable dans les images et les vidéos. Nous avons développé un moteur de données, qui améliore le modèle et les données via l'interaction utilisateur, pour collecter le plus grand ensemble de données de segmentation vidéo à ce jour. Notre modèle repose sur une architecture de transformateur simple dotée d'une mémoire en flux pour le traitement vidéo en temps réel. SAM 2, entraîné sur nos données, offre des performances solides sur une large gamme de tâches. Pour la segmentation vidéo, nous observons une meilleure précision, en utilisant 3 fois moins d'interactions que les approches précédentes. Pour la segmentation d'images, notre modèle est plus précis et 6 fois plus rapide que le Segment Anything Model (SAM). Nous pensons que nos données, notre modèle et nos insights constitueront une étape importante pour la segmentation vidéo et les tâches de perception associées. Nous mettons à disposition une version de notre modèle, l'ensemble de données et une démonstration interactive.

English

We present Segment Anything Model 2 (SAM 2), a foundation model towards solving promptable visual segmentation in images and videos. We build a data engine, which improves model and data via user interaction, to collect the largest video segmentation dataset to date. Our model is a simple transformer architecture with streaming memory for real-time video processing. SAM 2 trained on our data provides strong performance across a wide range of tasks. In video segmentation, we observe better accuracy, using 3x fewer interactions than prior approaches. In image segmentation, our model is more accurate and 6x faster than the Segment Anything Model (SAM). We believe that our data, model, and insights will serve as a significant milestone for video segmentation and related perception tasks. We are releasing a version of our model, the dataset and an interactive demo.