SAM 2: 画像と動画における任意のセグメンテーション

SAM 2: Segment Anything in Images and Videos

August 1, 2024

著者: Nikhila Ravi, Valentin Gabeur, Yuan-Ting Hu, Ronghang Hu, Chaitanya Ryali, Tengyu Ma, Haitham Khedr, Roman Rädle, Chloe Rolland, Laura Gustafson, Eric Mintun, Junting Pan, Kalyan Vasudev Alwala, Nicolas Carion, Chao-Yuan Wu, Ross Girshick, Piotr Dollár, Christoph Feichtenhofer

cs.AI

要旨

私たちは、画像と動画におけるプロンプト可能な視覚的セグメンテーションを解決するための基盤モデルであるSegment Anything Model 2（SAM 2）を紹介します。ユーザーインタラクションを通じてモデルとデータを改善するデータエンジンを構築し、これまでで最大の動画セグメンテーションデータセットを収集しました。私たちのモデルは、リアルタイム動画処理のためのストリーミングメモリを備えたシンプルなトランスフォーマーアーキテクチャです。私たちのデータでトレーニングされたSAM 2は、幅広いタスクにおいて強力な性能を発揮します。動画セグメンテーションでは、従来のアプローチよりも3倍少ないインタラクションでより高い精度を達成しました。画像セグメンテーションでは、Segment Anything Model（SAM）よりも精度が高く、6倍高速です。私たちのデータ、モデル、および洞察は、動画セグメンテーションおよび関連する知覚タスクにとって重要なマイルストーンとなることを信じています。私たちは、モデルのバージョン、データセット、およびインタラクティブデモを公開します。

English

We present Segment Anything Model 2 (SAM 2), a foundation model towards solving promptable visual segmentation in images and videos. We build a data engine, which improves model and data via user interaction, to collect the largest video segmentation dataset to date. Our model is a simple transformer architecture with streaming memory for real-time video processing. SAM 2 trained on our data provides strong performance across a wide range of tasks. In video segmentation, we observe better accuracy, using 3x fewer interactions than prior approaches. In image segmentation, our model is more accurate and 6x faster than the Segment Anything Model (SAM). We believe that our data, model, and insights will serve as a significant milestone for video segmentation and related perception tasks. We are releasing a version of our model, the dataset and an interactive demo.