Schnelles Segmentieren von allem

Fast Segment Anything

June 21, 2023

Autoren: Xu Zhao, Wenchao Ding, Yongqi An, Yinglong Du, Tao Yu, Min Li, Ming Tang, Jinqiao Wang

cs.AI

Zusammenfassung

Das kürzlich vorgeschlagene Segment Anything Model (SAM) hat einen bedeutenden Einfluss auf viele Computer-Vision-Aufgaben ausgeübt. Es entwickelt sich zu einem grundlegenden Schritt für viele hochrangige Aufgaben wie Bildsegmentierung, Bildbeschreibung und Bildbearbeitung. Allerdings verhindern die hohen Rechenkosten eine breitere Anwendung in industriellen Szenarien. Der Rechenaufwand stammt hauptsächlich aus der Transformer-Architektur bei hochauflösenden Eingaben. In diesem Artikel schlagen wir eine beschleunigte alternative Methode für diese grundlegende Aufgabe mit vergleichbarer Leistung vor. Indem wir die Aufgabe als Segmentgenerierung und Prompting neu formulieren, stellen wir fest, dass ein regulärer CNN-Detektor mit einem Instanzsegmentierungszweig diese Aufgabe ebenfalls gut bewältigen kann. Konkret wandeln wir diese Aufgabe in die gut erforschte Instanzsegmentierungsaufgabe um und trainieren die bestehende Instanzsegmentierungsmethode direkt mit nur 1/50 des von den SAM-Autoren veröffentlichten SA-1B-Datensatzes. Mit unserer Methode erreichen wir eine vergleichbare Leistung wie die SAM-Methode bei einer 50-mal höheren Laufzeitgeschwindigkeit. Wir liefern umfangreiche experimentelle Ergebnisse, um deren Wirksamkeit zu demonstrieren. Die Codes und Demos werden unter https://github.com/CASIA-IVA-Lab/FastSAM veröffentlicht.

English

The recently proposed segment anything model (SAM) has made a significant influence in many computer vision tasks. It is becoming a foundation step for many high-level tasks, like image segmentation, image caption, and image editing. However, its huge computation costs prevent it from wider applications in industry scenarios. The computation mainly comes from the Transformer architecture at high-resolution inputs. In this paper, we propose a speed-up alternative method for this fundamental task with comparable performance. By reformulating the task as segments-generation and prompting, we find that a regular CNN detector with an instance segmentation branch can also accomplish this task well. Specifically, we convert this task to the well-studied instance segmentation task and directly train the existing instance segmentation method using only 1/50 of the SA-1B dataset published by SAM authors. With our method, we achieve a comparable performance with the SAM method at 50 times higher run-time speed. We give sufficient experimental results to demonstrate its effectiveness. The codes and demos will be released at https://github.com/CASIA-IVA-Lab/FastSAM.