MNAFT: modaliteitsneuronbewuste fine-tuning van multimodale grote taalmodellen voor beeldvertaling

MNAFT: modality neuron-aware fine-tuning of multimodal large language models for image translation

April 18, 2026

Auteurs: Bo Li, Ningyuan Deng, Tianyu Dong, Shaobo Wang, Shaolin Zhu, Lijie Wen

cs.AI

Samenvatting

Multimodale grote taalmodellen (MLLM's) tonen indrukwekkende capaciteiten, maar hebben vaak moeite om de fijne tekstuele informatie in afbeeldingen, die cruciaal is voor accurate beeldvertaling, effectief vast te leggen. Dit leidt vaak tot een modaliteitskloof tussen visuele tekstinvoer en tekstuele invoer/uitvoer voor beeldvertaling. Bestaande methoden, die voornamelijk steunen op instructie-fijnafstemming, riskeren parameterredundantie van vooraf getrainde kennis, wat de generalisatieprestatie belemmert. Om dit aan te pakken, introduceren we modality neuron-aware fine-tuning (MNAFT), een nieuwe aanpak die gebruikmaakt van de gespecialiseerde rollen van individuele neuronen binnen MLLM's voor verbeterde beeldvertaling. MNAFT identificeert taal-agnostische en taal-specifieke neuronen in zowel visuele als taalmodules door middel van een instructiegestuurde activatie-analyse, waarbij hun belang in verschillende vertaaltaken wordt geëvalueerd. Vervolgens voeren we selectieve fijnafstemming uit, waarbij alleen de parameters van taal-specifieke en taal-agnostische neuronen binnen de geselecteerde lagen die relevant zijn voor de doeltaak worden bijgewerkt, terwijl de kennis gecodeerd in andere neuronen en lagen behouden blijft. Onze uitgebreide experimenten op meerdere benchmarks tonen aan dat MNAFT aanzienlijk beter presteert dan state-of-the-art beeldvertaalmethoden, inclusief cascade-modellen, standaard volledige fijnafstemming en parameter-efficiënte afstemmingstechnieken. Verder bieden we een uitgebreide analyse, inclusief visualisaties van neuronactivaties en clusterpatronen, om inzicht te geven in de rollen van verschillende neuronengroepen bij het bemiddelen van cross-modale interpretatie en het faciliteren van accurate taal-specifieke vertaling.

English

Multimodal large language models (MLLMs) have shown impressive capabilities, yet they often struggle to effectively capture the fine-grained textual information within images crucial for accurate image translation. This often leads to a modality gap between visual text inputs and textual inputs/outputs for image translation. Existing methods, primarily relying on instruction fine-tuning, risk parameter redundancy of pre-trained knowledge, hindering generalization performance. To address this, we introduce modality neuron-aware fine-tuning (MNAFT), a novel approach that takes advantage of the specialized roles of individual neurons within MLLMs for enhanced image translation. MNAFT identifies language-agnostic and language-specific neurons in both vision and language modules through an instruction-driven activation analysis, evaluating their importance in various translation tasks. We then perform selective fine-tuning, updating only the parameters of language-specific and language-agnostic neurons within the selected layers relevant to the target task, while preserving the knowledge encoded in other neurons and layers. Our extensive experiments on multiple benchmarks demonstrate that MNAFT significantly outperforms state-of-the-art image translation methods, including cascaded models, standard full fine-tuning, and parameter-efficient tuning techniques. Furthermore, we provide comprehensive analysis, including visualizations of neuron activations and clustering patterns, to offer insights into the roles of different neuron groups in mediating cross-modal understanding and facilitating accurate language-specific translation.