MNAFT: модально-нейронная адаптивная настройка мультимодальных больших языковых моделей для перевода изображений

MNAFT: modality neuron-aware fine-tuning of multimodal large language models for image translation

April 18, 2026

Авторы: Bo Li, Ningyuan Deng, Tianyu Dong, Shaobo Wang, Shaolin Zhu, Lijie Wen

cs.AI

Аннотация

Мультимодальные большие языковые модели (MБЯМ) демонстрируют впечатляющие возможности, однако зачастую они не могут эффективно захватывать мелкозернистую текстовую информацию на изображениях, которая критически важна для точного перевода изображений. Это часто приводит к модальному разрыву между визуальными текстовыми входами и текстовыми входами/выходами для перевода изображений. Существующие методы, в основном основанные на инструктивной тонкой настройке, несут риск избыточности параметров предобученных знаний, что ограничивает обобщающую способность. Для решения этой проблемы мы представляем модульно-нейронно-осознанную тонкую настройку (MNAFT) — новый подход, который использует преимущества специализированных ролей отдельных нейронов внутри MБЯМ для улучшения перевода изображений. MNAFT идентифицирует языково-независимые и языково-специфичные нейроны как в визуальных, так и в языковых модулях с помощью инструктивно-управляемого анализа активации, оценивая их важность в различных задачах перевода. Затем мы выполняем выборочную тонкую настройку, обновляя только параметры языково-специфичных и языково-независимых нейронов в выбранных слоях, релевантных целевой задаче, при этом сохраняя знания, закодированные в других нейронах и слоях. Наши обширные эксперименты на нескольких наборах данных показывают, что MNAFT значительно превосходит современные методы перевода изображений, включая каскадные модели, стандартную полную тонкую настройку и параметрически эффективные методы настройки. Кроме того, мы предоставляем всесторонний анализ, включая визуализацию активаций нейронов и кластерных паттернов, чтобы пролить свет на роли различных групп нейронов в посредничестве межмодального понимания и обеспечении точного языково-специфичного перевода.

English

Multimodal large language models (MLLMs) have shown impressive capabilities, yet they often struggle to effectively capture the fine-grained textual information within images crucial for accurate image translation. This often leads to a modality gap between visual text inputs and textual inputs/outputs for image translation. Existing methods, primarily relying on instruction fine-tuning, risk parameter redundancy of pre-trained knowledge, hindering generalization performance. To address this, we introduce modality neuron-aware fine-tuning (MNAFT), a novel approach that takes advantage of the specialized roles of individual neurons within MLLMs for enhanced image translation. MNAFT identifies language-agnostic and language-specific neurons in both vision and language modules through an instruction-driven activation analysis, evaluating their importance in various translation tasks. We then perform selective fine-tuning, updating only the parameters of language-specific and language-agnostic neurons within the selected layers relevant to the target task, while preserving the knowledge encoded in other neurons and layers. Our extensive experiments on multiple benchmarks demonstrate that MNAFT significantly outperforms state-of-the-art image translation methods, including cascaded models, standard full fine-tuning, and parameter-efficient tuning techniques. Furthermore, we provide comprehensive analysis, including visualizations of neuron activations and clustering patterns, to offer insights into the roles of different neuron groups in mediating cross-modal understanding and facilitating accurate language-specific translation.