Word wakker voor tast! Masker-geïsoleerd tactiel afstemmingsleren in MLLMs

Samenvatting

Tast levert de fysieke basis die nodig is om intrinsieke materiaaleigenschappen, zoals wrijving en compliantie, waar te nemen, die het zicht alleen vaak niet kan oplossen. Recente pogingen om multimodale LLM's met deze tastzin uit te rusten, leggen echter een nulsom-afweging bloot: het beperkte parameterbudget van compacte modellen dwingt tot een keuze tussen het verwerven van de nieuwe sensorische modaliteit en het behouden van de gevestigde visueel-talige redenering. Wij presenteren Splash, een masker-geïsoleerd leerframework voor tactiele afstemming voor MLLM's. Splash kwantificeert het belang van elke voorgetrainde parameter en verdeelt de parameterruimte in een slapende en een kritieke deelruimte. Terwijl de bevroren kritieke deelruimte fungeert als een stabiel anker om algemene visuele kennis te beschermen, werkt Splash de geïsoleerde slapende deelruimte bij om tactiele afstemming naar LLM's te internaliseren. Deze selectieve, niet-destructieve uitbreiding voorkomt effectief catastrofale vergetelheid en zorgt voor niet-destructieve modaliteitsuitbreiding. Uitgebreide experimenten tonen aan dat Splash effectief tactiele redenering bereikt zonder extra inferentie-overhead in het LLM-gedeelte, en presteert state-of-the-art op visueel-tactiele benchmarks, waaronder SSVTP, TVL en TacQuad, terwijl de oorspronkelijke algemene capaciteiten behouden blijven.

English

Touch supplies the physical grounding needed to perceive intrinsic material properties, such as friction and compliance, that vision alone often cannot resolve. Recent efforts for equipping multimodal LLMs with this tactile sense, however, expose a zero-sum trade-off: the limited parameter budget of compact models forces a choice between acquiring the new sensory modality and preserving the established vision-language reasoning. We present Splash, a mask-isolated tactile alignment learning framework for MLLMs. Splash quantifies the significance of each pretrained parameter, and partitions the parameter space into a dormant and critical subspace. While the frozen critical subspace acts as a stable anchor to safeguard general visual knowledge, Splash updates the isolated dormant subspace to internalize tactile alignment towards LLMs. This selective, non-destructive expansion effectively prevents catastrophic forgetting and ensures non-destructive modality expansion. Extensive experiments show that Splash effectively achieves tactile reasoning without additional inference overhead in the LLM part, demonstrating state-of-the-art performance on visuo-tactile benchmarks, including SSVTP, TVL, and TacQuad, while preserving its original general-purpose capabilities.