¡Despierta para el tacto! Aprendizaje de alineación táctil aislado por máscara en MLLMs

Resumen

El tacto proporciona la base física necesaria para percibir propiedades materiales intrínsecas, como la fricción y la flexibilidad, que la visión por sí sola a menudo no puede resolver. Sin embargo, los esfuerzos recientes para dotar a los MLLM multimodales de este sentido táctil exponen una disyuntiva de suma cero: el presupuesto limitado de parámetros en modelos compactos obliga a elegir entre adquirir la nueva modalidad sensorial y preservar el razonamiento visión-lenguaje establecido. Presentamos Splash, un marco de aprendizaje de alineación táctil aislada por máscaras para MLLM. Splash cuantifica la importancia de cada parámetro preentrenado y divide el espacio de parámetros en un subespacio inactivo y otro crítico. Mientras que el subespacio crítico congelado actúa como un ancla estable para salvaguardar el conocimiento visual general, Splash actualiza el subespacio inactivo aislado para interiorizar la alineación táctil hacia los MLLM. Esta expansión selectiva y no destructiva previene eficazmente el olvido catastrófico y garantiza una expansión modal no destructiva. Experimentos exhaustivos muestran que Splash logra eficazmente el razonamiento táctil sin una sobrecarga de inferencia adicional en la parte del MLLM, demostrando un rendimiento de vanguardia en puntos de referencia viso-táctiles, incluidos SSVTP, TVL y TacQuad, mientras preserva sus capacidades originales de propósito general.

English

Touch supplies the physical grounding needed to perceive intrinsic material properties, such as friction and compliance, that vision alone often cannot resolve. Recent efforts for equipping multimodal LLMs with this tactile sense, however, expose a zero-sum trade-off: the limited parameter budget of compact models forces a choice between acquiring the new sensory modality and preserving the established vision-language reasoning. We present Splash, a mask-isolated tactile alignment learning framework for MLLMs. Splash quantifies the significance of each pretrained parameter, and partitions the parameter space into a dormant and critical subspace. While the frozen critical subspace acts as a stable anchor to safeguard general visual knowledge, Splash updates the isolated dormant subspace to internalize tactile alignment towards LLMs. This selective, non-destructive expansion effectively prevents catastrophic forgetting and ensures non-destructive modality expansion. Extensive experiments show that Splash effectively achieves tactile reasoning without additional inference overhead in the LLM part, demonstrating state-of-the-art performance on visuo-tactile benchmarks, including SSVTP, TVL, and TacQuad, while preserving its original general-purpose capabilities.