EfficientViT-SAM: 性能を損なわずに高速化したSegment Anything Model

EfficientViT-SAM: Accelerated Segment Anything Model Without Performance Loss

February 7, 2024

著者: Zhuoyang Zhang, Han Cai, Song Han

cs.AI

要旨

私たちは、高速化されたSegment Anythingモデルの新たなファミリーであるEfficientViT-SAMを提案します。SAMの軽量なプロンプトエンコーダとマスクデコーダを保持しつつ、重い画像エンコーダをEfficientViTに置き換えました。トレーニングにおいては、まずSAM-ViT-H画像エンコーダからEfficientViTへの知識蒸留を行い、その後SA-1Bデータセットでエンドツーエンドのトレーニングを実施しました。EfficientViTの効率性と能力を活かし、EfficientViT-SAMはA100 GPU上でSAM-ViT-Hと比較して48.9倍のTensorRT高速化を実現しつつ、性能を犠牲にしませんでした。私たちのコードと事前学習済みモデルはhttps://github.com/mit-han-lab/efficientvitで公開されています。

English

We present EfficientViT-SAM, a new family of accelerated segment anything models. We retain SAM's lightweight prompt encoder and mask decoder while replacing the heavy image encoder with EfficientViT. For the training, we begin with the knowledge distillation from the SAM-ViT-H image encoder to EfficientViT. Subsequently, we conduct end-to-end training on the SA-1B dataset. Benefiting from EfficientViT's efficiency and capacity, EfficientViT-SAM delivers 48.9x measured TensorRT speedup on A100 GPU over SAM-ViT-H without sacrificing performance. Our code and pre-trained models are released at https://github.com/mit-han-lab/efficientvit.