STMI: Modulazione dei Token Guidata dalla Segmentazione con Interazione Ipergrafo Cross-Modale per la Re-Identificazione Multi-Modale di Oggetti
STMI: Segmentation-Guided Token Modulation with Cross-Modal Hypergraph Interaction for Multi-Modal Object Re-Identification
February 28, 2026
Autori: Xingguo Xu, Zhanyu Liu, Weixiang Zhou, Yuansheng Gao, Junjie Cao, Yuhao Wang, Jixiang Luo, Dell Zhang
cs.AI
Abstract
La re-identificazione (ReID) multimodale di oggetti mira a sfruttare le informazioni complementari provenienti da diverse modalità per recuperare oggetti specifici. Tuttavia, i metodi esistenti si basano spesso su filtraggi rigidi dei token o su semplici strategie di fusione, che possono portare alla perdita di indizi discriminativi e a un aumento dell'interferenza di fondo. Per affrontare queste sfide, proponiamo STMI, un nuovo framework di apprendimento multimodale costituito da tre componenti chiave: (1) il modulo di Modulazione delle Caratteristiche Guidata dalla Segmentazione (SFM) sfrutta le maschere generate da SAM per potenziare le rappresentazioni in primo piano e sopprimere il rumore di fondo attraverso una modulazione dell'attenzione apprendibile; (2) il modulo di Riallocazione Semantica dei Token (STR) utilizza token query apprendibili e un meccanismo di riallocazione adattiva per estrarre rappresentazioni compatte e informative senza scartare alcun token; (3) il modulo di Interazione Ipergrafo Cross-Modale (CHI) costruisce un ipergrafo unificato tra le modalità per catturare relazioni semantiche di ordine superiore. Esperimenti estesi su benchmark pubblici (ovvero RGBNT201, RGBNT100 e MSVR310) dimostrano l'efficacia e la robustezza del nostro framework STMI proposto negli scenari di ReID multimodale.
English
Multi-modal object Re-Identification (ReID) aims to exploit complementary information from different modalities to retrieve specific objects. However, existing methods often rely on hard token filtering or simple fusion strategies, which can lead to the loss of discriminative cues and increased background interference. To address these challenges, we propose STMI, a novel multi-modal learning framework consisting of three key components: (1) Segmentation-Guided Feature Modulation (SFM) module leverages SAM-generated masks to enhance foreground representations and suppress background noise through learnable attention modulation; (2) Semantic Token Reallocation (STR) module employs learnable query tokens and an adaptive reallocation mechanism to extract compact and informative representations without discarding any tokens; (3) Cross-Modal Hypergraph Interaction (CHI) module constructs a unified hypergraph across modalities to capture high-order semantic relationships. Extensive experiments on public benchmarks (i.e., RGBNT201, RGBNT100, and MSVR310) demonstrate the effectiveness and robustness of our proposed STMI framework in multi-modal ReID scenarios.