STMI: Сегментационно-ориентированная модуляция токенов с кросс-модальным гиперграфовым взаимодействием для многомодальной реидентификации объектов

STMI: Segmentation-Guided Token Modulation with Cross-Modal Hypergraph Interaction for Multi-Modal Object Re-Identification

February 28, 2026

Авторы: Xingguo Xu, Zhanyu Liu, Weixiang Zhou, Yuansheng Gao, Junjie Cao, Yuhao Wang, Jixiang Luo, Dell Zhang

cs.AI

Аннотация

Мультимодальная реидентификация объектов (ReID) направлена на использование комплементарной информации из различных модальностей для поиска конкретных объектов. Однако существующие методы часто полагаются на жесткую фильтрацию токенов или простые стратегии слияния, что может приводить к потере дискриминативных признаков и усилению фоновых помех. Для решения этих проблем мы предлагаем STMI — новую мультимодальную архитектуру обучения, состоящую из трех ключевых компонентов: (1) модуль модуляции признаков на основе сегментации (SFM) использует маски, сгенерированные SAM, для усиления репрезентаций переднего плана и подавления фонового шума посредством обучаемой модуляции внимания; (2) модуль семантического перераспределения токенов (STR) применяет обучаемые запросные токены и адаптивный механизм перераспределения для извлечения компактных и информативных репрезентаций без отбрасывания токенов; (3) модуль кросс-модального гиперграфового взаимодействия (CHI) строит унифицированный гиперграф across модальностями для захвата семантических отношений высокого порядка. Экстенсивные эксперименты на публичных бенчмарках (RGBNT201, RGBNT100 и MSVR310) демонстрируют эффективность и устойчивость предложенного фреймворка STMI в сценариях мультимодальной реидентификации.

English

Multi-modal object Re-Identification (ReID) aims to exploit complementary information from different modalities to retrieve specific objects. However, existing methods often rely on hard token filtering or simple fusion strategies, which can lead to the loss of discriminative cues and increased background interference. To address these challenges, we propose STMI, a novel multi-modal learning framework consisting of three key components: (1) Segmentation-Guided Feature Modulation (SFM) module leverages SAM-generated masks to enhance foreground representations and suppress background noise through learnable attention modulation; (2) Semantic Token Reallocation (STR) module employs learnable query tokens and an adaptive reallocation mechanism to extract compact and informative representations without discarding any tokens; (3) Cross-Modal Hypergraph Interaction (CHI) module constructs a unified hypergraph across modalities to capture high-order semantic relationships. Extensive experiments on public benchmarks (i.e., RGBNT201, RGBNT100, and MSVR310) demonstrate the effectiveness and robustness of our proposed STMI framework in multi-modal ReID scenarios.