Sneller Segment Anything: Op Weg Naar een Lichtgewicht SAM voor Mobiele Toepassingen

Samenvatting

Het Segment Anything Model (SAM) is een prompt-gestuurd visueel basismodel voor het uitknippen van het gewenste object uit zijn achtergrond. Sinds het Meta-onderzoeksteam het SA-project heeft vrijgegeven, heeft SAM aanzienlijke aandacht getrokken vanwege zijn indrukwekkende zero-shot transferprestaties en de hoge veelzijdigheid in combinatie met andere modellen voor geavanceerde visuele toepassingen, zoals beeldbewerking met fijnmazige controle. Veel van dergelijke use cases moeten worden uitgevoerd op apparaten met beperkte resources, zoals mobiele apps. In dit werk streven we ernaar om SAM mobielvriendelijk te maken door de zware beeldencoder te vervangen door een lichtgewicht versie. Een naïeve manier om zo'n nieuwe SAM te trainen, zoals in het oorspronkelijke SAM-paper, leidt tot onbevredigende prestaties, vooral wanneer er beperkte trainingsbronnen beschikbaar zijn. We ontdekken dat dit voornamelijk wordt veroorzaakt door de gekoppelde optimalisatie van de beeldencoder en de maskerdecoder, wat ons motiveert om gedecoupleerde distillatie voor te stellen. Concreet distilleren we de kennis van de beeldencoder ViT-H in de oorspronkelijke SAM naar een lichtgewicht beeldencoder, die automatisch compatibel is met de maskerdecoder in de oorspronkelijke SAM. De training kan worden voltooid op een enkele GPU in minder dan één dag, en het resulterende lichtgewicht SAM wordt MobileSAM genoemd, dat meer dan 60 keer kleiner is maar presteert op hetzelfde niveau als de oorspronkelijke SAM. Wat betreft inferentiesnelheid, verwerkt MobileSAM ongeveer 10ms per afbeelding: 8ms op de beeldencoder en 2ms op de maskerdecoder. Met superieure prestaties en een hogere veelzijdigheid is onze MobileSAM 7 keer kleiner en 4 keer sneller dan de gelijktijdige FastSAM, wat het geschikter maakt voor mobiele toepassingen. De code voor het MobileSAM-project is beschikbaar op https://github.com/ChaoningZhang/MobileSAM.

English

Segment anything model (SAM) is a prompt-guided vision foundation model for cutting out the object of interest from its background. Since Meta research team released the SA project, SAM has attracted significant attention due to its impressive zero-shot transfer performance and high versatility of being compatible with other models for advanced vision applications like image editing with fine-grained control. Many of such use cases need to be run on resource-constraint edge devices, like mobile Apps. In this work, we aim to make SAM mobile-friendly by replacing the heavyweight image encoder with a lightweight one. A naive way to train such a new SAM as in the original SAM paper leads to unsatisfactory performance, especially when limited training sources are available. We find that this is mainly caused by the coupled optimization of the image encoder and mask decoder, motivated by which we propose decoupled distillation. Concretely, we distill the knowledge from the image encoder ViT-H in the original SAM to a lightweight image encoder, which can be automatically compatible with the mask decoder in the original SAM. The training can be completed on a single GPU within less than one day, and the resulting lightweight SAM is termed MobileSAM which is more than 60 times smaller yet performs on par with the original SAM. For inference speed, MobileSAM runs around 10ms per image: 8ms on the image encoder and 2ms on the mask decoder. With superior performance and a higher versatility, our MobileSAM is 7 times smaller and 4 times faster than the concurrent FastSAM, making it more suitable for mobile applications. The code for MobileSAM project is provided at https://github.com/ChaoningZhang/MobileSAM

Sneller Segment Anything: Op Weg Naar een Lichtgewicht SAM voor Mobiele Toepassingen

Faster Segment Anything: Towards Lightweight SAM for Mobile Applications

Samenvatting

Support