MNAFT : réglage fin sensible aux neurones de modalité pour les modèles de langage multimodaux appliqué à la traduction d'images

MNAFT: modality neuron-aware fine-tuning of multimodal large language models for image translation

April 18, 2026

Auteurs: Bo Li, Ningyuan Deng, Tianyu Dong, Shaobo Wang, Shaolin Zhu, Lijie Wen

cs.AI

Résumé

Les grands modèles de langage multimodaux (MLLM) ont démontré des capacités impressionnantes, mais ils peinent souvent à capturer efficacement les informations textuelles fines au sein des images, pourtant cruciales pour une traduction d'image précise. Cela conduit fréquemment à un écart de modalité entre les entrées de texte visuel et les entrées/sorties textuelles pour la traduction d'image. Les méthodes existantes, reposant principalement sur le réglage fin par instruction, risquent une redondance paramétrique des connaissances pré-entraînées, entravant les performances de généralisation. Pour résoudre ce problème, nous introduisons le réglage fin sensible aux neurones de modalité (MNAFT), une approche novatrice qui tire parti des rôles spécialisés des neurones individuels au sein des MLLM pour améliorer la traduction d'image. MNAFT identifie les neurones agnostiques au langage et spécifiques au langage dans les modules visuels et linguistiques via une analyse d'activation pilotée par instruction, évaluant leur importance dans diverses tâches de traduction. Nous effectuons ensuite un réglage fin sélectif, en mettant à jour uniquement les paramètres des neurones spécifiques au langage et agnostiques au langage au sein des couches sélectionnées pertinentes pour la tâche cible, tout en préservant les connaissances encodées dans les autres neurones et couches. Nos expériences approfondies sur plusieurs benchmarks démontrent que MNAFT surpasse significativement les méthodes de pointe en traduction d'image, y compris les modèles en cascade, le réglage fin complet standard et les techniques de réglage économe en paramètres. De plus, nous fournissons une analyse complète, incluant des visualisations des activations neuronales et des motifs de regroupement, pour offrir un aperçu des rôles des différents groupes de neurones dans la médiation de la compréhension cross-modale et la facilitation d'une traduction précise spécifique au langage.

English

Multimodal large language models (MLLMs) have shown impressive capabilities, yet they often struggle to effectively capture the fine-grained textual information within images crucial for accurate image translation. This often leads to a modality gap between visual text inputs and textual inputs/outputs for image translation. Existing methods, primarily relying on instruction fine-tuning, risk parameter redundancy of pre-trained knowledge, hindering generalization performance. To address this, we introduce modality neuron-aware fine-tuning (MNAFT), a novel approach that takes advantage of the specialized roles of individual neurons within MLLMs for enhanced image translation. MNAFT identifies language-agnostic and language-specific neurons in both vision and language modules through an instruction-driven activation analysis, evaluating their importance in various translation tasks. We then perform selective fine-tuning, updating only the parameters of language-specific and language-agnostic neurons within the selected layers relevant to the target task, while preserving the knowledge encoded in other neurons and layers. Our extensive experiments on multiple benchmarks demonstrate that MNAFT significantly outperforms state-of-the-art image translation methods, including cascaded models, standard full fine-tuning, and parameter-efficient tuning techniques. Furthermore, we provide comprehensive analysis, including visualizations of neuron activations and clustering patterns, to offer insights into the roles of different neuron groups in mediating cross-modal understanding and facilitating accurate language-specific translation.