Desperte para o Toque! Aprendizagem de Alinhamento Tátil Isolado por Máscara em MLLMs

Resumo

O tato fornece a base física necessária para perceber propriedades intrínsecas dos materiais, como atrito e complacência, que apenas a visão muitas vezes não consegue resolver. Esforços recentes para equipar LLMs multimodais com esse sentido tátil, no entanto, expõem um trade-off de soma zero: o orçamento limitado de parâmetros de modelos compactos força uma escolha entre adquirir a nova modalidade sensorial e preservar o raciocínio visão-linguagem estabelecido. Apresentamos Splash, uma estrutura de aprendizado de alinhamento tátil com isolamento por máscara para MLLMs. Splash quantifica a significância de cada parâmetro pré-treinado e particiona o espaço de parâmetros em um subespaço dormente e um crítico. Enquanto o subespaço crítico congelado atua como uma âncora estável para salvaguardar o conhecimento visual geral, Splash atualiza o subespaço dormente isolado para internalizar o alinhamento tátil em direção aos LLMs. Essa expansão seletiva e não destrutiva previne efetivamente o esquecimento catastrófico e garante uma expansão de modalidade não destrutiva. Extensos experimentos mostram que o Splash atinge efetivamente o raciocínio tátil sem sobrecarga adicional de inferência na parte do LLM, demonstrando desempenho de ponta em benchmarks visuo-táteis, incluindo SSVTP, TVL e TacQuad, enquanto preserva suas capacidades originais de propósito geral.

English

Touch supplies the physical grounding needed to perceive intrinsic material properties, such as friction and compliance, that vision alone often cannot resolve. Recent efforts for equipping multimodal LLMs with this tactile sense, however, expose a zero-sum trade-off: the limited parameter budget of compact models forces a choice between acquiring the new sensory modality and preserving the established vision-language reasoning. We present Splash, a mask-isolated tactile alignment learning framework for MLLMs. Splash quantifies the significance of each pretrained parameter, and partitions the parameter space into a dormant and critical subspace. While the frozen critical subspace acts as a stable anchor to safeguard general visual knowledge, Splash updates the isolated dormant subspace to internalize tactile alignment towards LLMs. This selective, non-destructive expansion effectively prevents catastrophic forgetting and ensures non-destructive modality expansion. Extensive experiments show that Splash effectively achieves tactile reasoning without additional inference overhead in the LLM part, demonstrating state-of-the-art performance on visuo-tactile benchmarks, including SSVTP, TVL, and TacQuad, while preserving its original general-purpose capabilities.