転移可能で原理的な効率性を備えたオープン語彙セグメンテーション

Transferable and Principled Efficiency for Open-Vocabulary Segmentation

April 11, 2024

著者: Jingxuan Xu, Wuyang Chen, Yao Zhao, Yunchao Wei

cs.AI

要旨

事前学習された基盤となる視覚言語モデルの最近の成功により、オープン語彙セグメンテーション（OVS）が可能になりました。有望な性能を示す一方で、このアプローチは2つの課題による重い計算オーバーヘッドを引き起こします：1）バックボーンの大規模なモデルサイズ、2）ファインチューニング中の高コスト。これらの課題は、このOVS戦略が現実世界のシナリオで広く適用可能かつ手頃なコストで利用されることを妨げています。モデル圧縮や効率的なファインチューニングといった従来の手法はこれらの課題に対処できますが、しばしばヒューリスティックに依存しています。これは、それらの解決策が容易に転移できず、異なるモデルで再トレーニングが必要であり、それにはコストがかかることを意味します。効率的なOVSの文脈において、私たちは、大規模な視覚言語基盤モデルに基づく従来のOVS研究と同等またはそれ以上の性能を、より低いトレーニングコストを伴う小さなモデルを活用して達成することを目指しています。核心となる戦略は、私たちの効率性を原理的にし、それによってさらなるカスタマイズなしに一つのOVSフレームワークから他のフレームワークへシームレスに転移可能にすることです。多様なOVSベンチマークでの包括的な実験により、セグメンテーション精度と計算コストの間の優れたトレードオフが、従来の研究を上回ることが実証されました。私たちのコードはhttps://github.com/Xujxyang/OpenTransで公開されています。

English

Recent success of pre-trained foundation vision-language models makes Open-Vocabulary Segmentation (OVS) possible. Despite the promising performance, this approach introduces heavy computational overheads for two challenges: 1) large model sizes of the backbone; 2) expensive costs during the fine-tuning. These challenges hinder this OVS strategy from being widely applicable and affordable in real-world scenarios. Although traditional methods such as model compression and efficient fine-tuning can address these challenges, they often rely on heuristics. This means that their solutions cannot be easily transferred and necessitate re-training on different models, which comes at a cost. In the context of efficient OVS, we target achieving performance that is comparable to or even better than prior OVS works based on large vision-language foundation models, by utilizing smaller models that incur lower training costs. The core strategy is to make our efficiency principled and thus seamlessly transferable from one OVS framework to others without further customization. Comprehensive experiments on diverse OVS benchmarks demonstrate our superior trade-off between segmentation accuracy and computation costs over previous works. Our code is available on https://github.com/Xujxyang/OpenTrans