マルチモーダルによるセグメンテーション

要旨

シーンの頑健かつ正確なセグメンテーションは、様々な視覚認識およびナビゲーションタスクにおいて中核的な機能の一つとなっています。これに触発され、汎用的なマスクセグメンテーションのための基盤モデルであるSegment Anything Model（SAM）が最近開発されました。しかし、SAMは主に単一モーダルのRGB画像に特化しており、LiDARとRGB、深度とRGB、熱画像とRGBなど、広く採用されているセンサー群で取得されたマルチモーダルデータへの適用性が制限されています。我々は、SAMを拡張・発展させたMM-SAMを開発しました。MM-SAMは、異なるセンサー群を用いた頑健で強化されたセグメンテーションのためのクロスモーダルおよびマルチモーダル処理をサポートします。MM-SAMは、教師なしクロスモーダル転移と弱教師ありマルチモーダル融合という2つの主要な設計を特徴としており、様々なセンサーモダリティに向けたラベル効率とパラメータ効率の高い適応を可能にします。これにより、以下の3つの主要な課題に対処します：1）単一モーダル処理のための多様な非RGBセンサーへの適応、2）センサーフュージョンによるマルチモーダルデータの相乗的処理、3）異なる下流タスクのためのマスクフリートレーニング。大規模な実験により、MM-SAMがSAMを大幅に上回る性能を示し、様々なセンサーとデータモダリティにわたるその有効性と頑健性が実証されました。

English

Robust and accurate segmentation of scenes has become one core functionality in various visual recognition and navigation tasks. This has inspired the recent development of Segment Anything Model (SAM), a foundation model for general mask segmentation. However, SAM is largely tailored for single-modal RGB images, limiting its applicability to multi-modal data captured with widely-adopted sensor suites, such as LiDAR plus RGB, depth plus RGB, thermal plus RGB, etc. We develop MM-SAM, an extension and expansion of SAM that supports cross-modal and multi-modal processing for robust and enhanced segmentation with different sensor suites. MM-SAM features two key designs, namely, unsupervised cross-modal transfer and weakly-supervised multi-modal fusion, enabling label-efficient and parameter-efficient adaptation toward various sensor modalities. It addresses three main challenges: 1) adaptation toward diverse non-RGB sensors for single-modal processing, 2) synergistic processing of multi-modal data via sensor fusion, and 3) mask-free training for different downstream tasks. Extensive experiments show that MM-SAM consistently outperforms SAM by large margins, demonstrating its effectiveness and robustness across various sensors and data modalities.

マルチモーダルによるセグメンテーション

Segment Anything with Multiple Modalities

要旨

Summary

Support

Support