터치에 깨어나라! MLLM에서의 마스크 격리 촉각 정렬 학습

초록

촉각은 시각만으로는 종종 해결할 수 없는 마찰 및 순응성과 같은 본질적 재료 특성을 인지하는 데 필요한 물리적 기반을 제공한다. 그러나 최근 멀티모달 대규모 언어 모델(LLM)에 이러한 촉각 감각을 장착하려는 시도는 제로섬 트레이드오프(zero-sum trade-off)를 드러낸다. 즉, 소형 모델의 제한된 매개변수 예산은 새로운 감각 양식을 획득하는 것과 기존의 시각-언어 추론 능력을 유지하는 것 사이에서 선택을 강요한다. 본 논문에서는 MLLM을 위한 마스크 기반 분리된 촉각 정렬 학습 프레임워크인 Splash를 제안한다. Splash는 사전 학습된 각 매개변수의 중요도를 정량화하고, 매개변수 공간을 휴면 부분공간과 중요 부분공간으로 분할한다. 얼어붙은 중요 부분공간은 일반 시각 지식을 보호하는 안정적인 앵커 역할을 하는 반면, Splash는 분리된 휴면 부분공간을 업데이트하여 LLM 방향으로의 촉각 정렬을 내재화한다. 이 선택적이고 비파괴적인 확장은 파국적 망각을 효과적으로 방지하며 비파괴적 양식 확장을 보장한다. 광범위한 실험 결과, Splash는 LLM 부분에서 추가적인 추론 오버헤드 없이 촉각 추론을 효과적으로 달성하며, SSVTP, TVL, TacQuad를 포함한 시각-촉각 벤치마크에서 최첨단 성능을 보여주면서도 본래의 범용 기능을 유지함을 입증한다.

English

Touch supplies the physical grounding needed to perceive intrinsic material properties, such as friction and compliance, that vision alone often cannot resolve. Recent efforts for equipping multimodal LLMs with this tactile sense, however, expose a zero-sum trade-off: the limited parameter budget of compact models forces a choice between acquiring the new sensory modality and preserving the established vision-language reasoning. We present Splash, a mask-isolated tactile alignment learning framework for MLLMs. Splash quantifies the significance of each pretrained parameter, and partitions the parameter space into a dormant and critical subspace. While the frozen critical subspace acts as a stable anchor to safeguard general visual knowledge, Splash updates the isolated dormant subspace to internalize tactile alignment towards LLMs. This selective, non-destructive expansion effectively prevents catastrophic forgetting and ensures non-destructive modality expansion. Extensive experiments show that Splash effectively achieves tactile reasoning without additional inference overhead in the LLM part, demonstrating state-of-the-art performance on visuo-tactile benchmarks, including SSVTP, TVL, and TacQuad, while preserving its original general-purpose capabilities.