STMI: segmentierungsgesteuerte Token-Modulation mit cross-modaler Hypergraphen-Interaktion für multi-modale Objekt-Re-Identifikation

STMI: Segmentation-Guided Token Modulation with Cross-Modal Hypergraph Interaction for Multi-Modal Object Re-Identification

February 28, 2026

Autoren: Xingguo Xu, Zhanyu Liu, Weixiang Zhou, Yuansheng Gao, Junjie Cao, Yuhao Wang, Jixiang Luo, Dell Zhang

cs.AI

Zusammenfassung

Multimodale Objekt-Re-Identifikation (ReID) zielt darauf ab, komplementäre Informationen aus verschiedenen Modalitäten zur Wiederauffindung spezifischer Objekte zu nutzen. Bisherige Methoden stützen sich jedoch häufig auf hartes Token-Filtering oder einfache Fusionsstrategien, was zum Verlust diskriminativer Merkmale und verstärkter Hintergrundinterferenz führen kann. Um diese Herausforderungen zu bewältigen, schlagen wir STMI vor, ein neuartiges multimodales Lernframework, das aus drei Schlüsselkomponenten besteht: (1) Das segmentierungsgesteuerte Merkmalmodulationsmodul (SFM) nutzt SAM-generierte Masken, um Vordergrundrepräsentationen zu verstärken und Hintergrundrauschen durch lernbare Aufmerksamkeitsmodulation zu unterdrücken; (2) Das semantische Token-Reallokationsmodul (STR) verwendet lernbare Abfragetokens und einen adaptiven Reallokationsmechanismus, um kompakte und informative Repräsentationen zu extrahieren, ohne Tokens zu verwerfen; (3) Das cross-modale Hypergraph-Interaktionsmodul (CHI) konstruiert einen vereinheitlichten Hypergraphen über Modalitäten hinweg, um semantische Beziehungen höherer Ordnung zu erfassen. Umfangreiche Experimente auf öffentlichen Benchmarks (d.h. RGBNT201, RGBNT100 und MSVR310) demonstrieren die Wirksamkeit und Robustheit unseres vorgeschlagenen STMI-Frameworks in multimodalen ReID-Szenarien.

English

Multi-modal object Re-Identification (ReID) aims to exploit complementary information from different modalities to retrieve specific objects. However, existing methods often rely on hard token filtering or simple fusion strategies, which can lead to the loss of discriminative cues and increased background interference. To address these challenges, we propose STMI, a novel multi-modal learning framework consisting of three key components: (1) Segmentation-Guided Feature Modulation (SFM) module leverages SAM-generated masks to enhance foreground representations and suppress background noise through learnable attention modulation; (2) Semantic Token Reallocation (STR) module employs learnable query tokens and an adaptive reallocation mechanism to extract compact and informative representations without discarding any tokens; (3) Cross-Modal Hypergraph Interaction (CHI) module constructs a unified hypergraph across modalities to capture high-order semantic relationships. Extensive experiments on public benchmarks (i.e., RGBNT201, RGBNT100, and MSVR310) demonstrate the effectiveness and robustness of our proposed STMI framework in multi-modal ReID scenarios.