Aufwachen für den Tastsinn! Masken-isoliertes taktiles Alignment-Lernen in MLLMs

Zusammenfassung

Die Berührungssensorik liefert die physikalische Grundlage, die für die Wahrnehmung intrinsischer Materialeigenschaften wie Reibung und Nachgiebigkeit erforderlich ist – Eigenschaften, die die reine Bildverarbeitung oft nicht auflösen kann. Jüngste Versuche, multimodale LLMs mit diesem Tastsinn auszustatten, offenbaren jedoch einen Nullsummen-Kompromiss: Das begrenzte Parameterbudget kompakter Modelle erzwingt eine Entscheidung zwischen der Aufnahme der neuen sensorischen Modalität und dem Erhalt der bestehenden visuell-sprachlichen Argumentationsfähigkeit. Wir stellen Splash vor, ein maskenisoliertes Lernframework zur taktilen Ausrichtung für MLLMs. Splash quantifiziert die Bedeutung jedes vortrainierten Parameters und unterteilt den Parameterraum in einen ruhenden und einen kritischen Unterraum. Während der eingefrorene kritische Unterraum als stabiler Anker dient, um allgemeines visuelles Wissen zu schützen, aktualisiert Splash den isolierten ruhenden Unterraum, um die taktile Ausrichtung an LLMs zu verinnerlichen. Diese selektive, nicht destruktive Erweiterung verhindert effektiv katastrophales Vergessen und gewährleistet eine nicht destruktive Modalitätserweiterung. Umfangreiche Experimente zeigen, dass Splash taktiles Denken ohne zusätzlichen Inferenzaufwand im LLM-Teil effektiv erreicht und auf visuotaktilen Benchmarks wie SSVTP, TVL und TacQuad eine Spitzenleistung erzielt, während die ursprünglichen allgemeinen Fähigkeiten erhalten bleiben.

English

Touch supplies the physical grounding needed to perceive intrinsic material properties, such as friction and compliance, that vision alone often cannot resolve. Recent efforts for equipping multimodal LLMs with this tactile sense, however, expose a zero-sum trade-off: the limited parameter budget of compact models forces a choice between acquiring the new sensory modality and preserving the established vision-language reasoning. We present Splash, a mask-isolated tactile alignment learning framework for MLLMs. Splash quantifies the significance of each pretrained parameter, and partitions the parameter space into a dormant and critical subspace. While the frozen critical subspace acts as a stable anchor to safeguard general visual knowledge, Splash updates the isolated dormant subspace to internalize tactile alignment towards LLMs. This selective, non-destructive expansion effectively prevents catastrophic forgetting and ensures non-destructive modality expansion. Extensive experiments show that Splash effectively achieves tactile reasoning without additional inference overhead in the LLM part, demonstrating state-of-the-art performance on visuo-tactile benchmarks, including SSVTP, TVL, and TacQuad, while preserving its original general-purpose capabilities.