Snel Segmenteren van Alles

Fast Segment Anything

June 21, 2023

Auteurs: Xu Zhao, Wenchao Ding, Yongqi An, Yinglong Du, Tao Yu, Min Li, Ming Tang, Jinqiao Wang

cs.AI

Samenvatting

Het recent voorgestelde Segment Anything Model (SAM) heeft een aanzienlijke invloed gehad op veel computervisietaken. Het wordt steeds meer een fundamentele stap voor veel hoogwaardige taken, zoals beeldsegmentatie, beeldbeschrijving en beeldbewerking. Echter, de enorme rekenkosten belemmeren een bredere toepassing in industriële scenario's. De rekenkosten komen voornamelijk voort uit de Transformer-architectuur bij hoge-resolutie invoer. In dit artikel stellen we een versneld alternatief voor voor deze fundamentele taak met vergelijkbare prestaties. Door de taak te herformuleren als segmentgeneratie en prompting, ontdekken we dat een reguliere CNN-detector met een instantiesegmentatietak deze taak ook goed kan uitvoeren. Specifiek zetten we deze taak om naar de goed bestudeerde instantiesegmentatietaak en trainen we direct de bestaande instantiesegmentatiemethode met slechts 1/50 van de SA-1B-dataset die door de SAM-auteurs is gepubliceerd. Met onze methode bereiken we een vergelijkbare prestatie met de SAM-methode bij een 50 keer hogere uitvoersnelheid. We geven voldoende experimentele resultaten om de effectiviteit ervan aan te tonen. De codes en demo's zullen worden vrijgegeven op https://github.com/CASIA-IVA-Lab/FastSAM.

English

The recently proposed segment anything model (SAM) has made a significant influence in many computer vision tasks. It is becoming a foundation step for many high-level tasks, like image segmentation, image caption, and image editing. However, its huge computation costs prevent it from wider applications in industry scenarios. The computation mainly comes from the Transformer architecture at high-resolution inputs. In this paper, we propose a speed-up alternative method for this fundamental task with comparable performance. By reformulating the task as segments-generation and prompting, we find that a regular CNN detector with an instance segmentation branch can also accomplish this task well. Specifically, we convert this task to the well-studied instance segmentation task and directly train the existing instance segmentation method using only 1/50 of the SA-1B dataset published by SAM authors. With our method, we achieve a comparable performance with the SAM method at 50 times higher run-time speed. We give sufficient experimental results to demonstrate its effectiveness. The codes and demos will be released at https://github.com/CASIA-IVA-Lab/FastSAM.