Проснитесь ради осязания! Маскированное изолированное обучение тактильному согласованию в MLLMs

Аннотация

Осязание обеспечивает физическую основу, необходимую для восприятия внутренних свойств материалов, таких как трение и податливость, которые одно лишь зрение часто не в состоянии разрешить. Однако недавние попытки оснастить мультимодальные LLM этим тактильным чувством выявляют компромисс с нулевой суммой: ограниченный бюджет параметров компактных моделей вынуждает выбирать между приобретением новой сенсорной модальности и сохранением устоявшегося визуально-языкового рассуждения. Мы представляем Splash — фреймворк обучения тактильному выравниванию для MLLM на основе изолирующей маски. Splash количественно оценивает значимость каждого предобученного параметра и разделяет пространство параметров на бездействующее и критическое подпространства. В то время как замороженное критическое подпространство служит стабильным якорем для сохранения общих визуальных знаний, Splash обновляет изолированное бездействующее подпространство для интернализации тактильного выравнивания по отношению к LLM. Такое выборочное, неразрушающее расширение эффективно предотвращает катастрофическое забывание и обеспечивает неразрушающее расширение модальностей. Обширные эксперименты показывают, что Splash эффективно достигает тактильного рассуждения без дополнительных вычислительных затрат на этапе вывода в части LLM, демонстрируя передовые результаты на визуально-тактильных эталонах, включая SSVTP, TVL и TacQuad, при этом сохраняя свои исходные универсальные возможности.

English

Touch supplies the physical grounding needed to perceive intrinsic material properties, such as friction and compliance, that vision alone often cannot resolve. Recent efforts for equipping multimodal LLMs with this tactile sense, however, expose a zero-sum trade-off: the limited parameter budget of compact models forces a choice between acquiring the new sensory modality and preserving the established vision-language reasoning. We present Splash, a mask-isolated tactile alignment learning framework for MLLMs. Splash quantifies the significance of each pretrained parameter, and partitions the parameter space into a dormant and critical subspace. While the frozen critical subspace acts as a stable anchor to safeguard general visual knowledge, Splash updates the isolated dormant subspace to internalize tactile alignment towards LLMs. This selective, non-destructive expansion effectively prevents catastrophic forgetting and ensures non-destructive modality expansion. Extensive experiments show that Splash effectively achieves tactile reasoning without additional inference overhead in the LLM part, demonstrating state-of-the-art performance on visuo-tactile benchmarks, including SSVTP, TVL, and TacQuad, while preserving its original general-purpose capabilities.