Réveillez-vous pour le toucher ! Apprentissage d'alignement tactile isolé par masque dans les MLLMs

Résumé

Le toucher fournit l’ancrage physique nécessaire pour percevoir les propriétés matérielles intrinsèques, telles que la friction et la compliance, que la vision seule ne peut souvent pas résoudre. Cependant, les efforts récents visant à doter les MLLM multimodaux de ce sens tactile révèlent un compromis à somme nulle : le budget limité de paramètres des modèles compacts impose un choix entre l’acquisition de la nouvelle modalité sensorielle et la préservation du raisonnement vision-langage établi. Nous présentons Splash, un cadre d’apprentissage d’alignement tactile par isolement par masque pour les MLLM. Splash quantifie l’importance de chaque paramètre pré-entraîné et partitionne l’espace des paramètres en un sous-espace dormant et un sous-espace critique. Tandis que le sous-espace critique figé agit comme une ancre stable pour préserver les connaissances visuelles générales, Splash met à jour le sous-espace dormant isolé pour internaliser l’alignement tactile vers les LLM. Cette expansion sélective et non destructive prévient efficacement l’oubli catastrophique et garantit une expansion non destructive des modalités. Des expériences approfondies montrent que Splash parvient à un raisonnement tactile sans surcoût d’inférence supplémentaire dans la partie LLM, atteignant des performances de pointe sur des benchmarks visuo-tactiles, notamment SSVTP, TVL et TacQuad, tout en préservant ses capacités généralistes d’origine.

English

Touch supplies the physical grounding needed to perceive intrinsic material properties, such as friction and compliance, that vision alone often cannot resolve. Recent efforts for equipping multimodal LLMs with this tactile sense, however, expose a zero-sum trade-off: the limited parameter budget of compact models forces a choice between acquiring the new sensory modality and preserving the established vision-language reasoning. We present Splash, a mask-isolated tactile alignment learning framework for MLLMs. Splash quantifies the significance of each pretrained parameter, and partitions the parameter space into a dormant and critical subspace. While the frozen critical subspace acts as a stable anchor to safeguard general visual knowledge, Splash updates the isolated dormant subspace to internalize tactile alignment towards LLMs. This selective, non-destructive expansion effectively prevents catastrophic forgetting and ensures non-destructive modality expansion. Extensive experiments show that Splash effectively achieves tactile reasoning without additional inference overhead in the LLM part, demonstrating state-of-the-art performance on visuo-tactile benchmarks, including SSVTP, TVL, and TacQuad, while preserving its original general-purpose capabilities.