MPJudge: К оценке восприятия картин, созданных под влиянием музыки

MPJudge: Towards Perceptual Assessment of Music-Induced Paintings

November 10, 2025

Авторы: Shiqi Jiang, Tianyi Liang, Changbo Wang, Chenhui Li

cs.AI

Аннотация

Музыкально-индуцированная живопись представляет собой уникальную художественную практику, в рамках которой визуальные произведения создаются под влиянием музыки. Оценка того, насколько точно картина отражает вдохновившую её музыку, представляет собой сложную задачу перцептивной оценки. Существующие методы в основном опираются на модели распознавания эмоций для оценки сходства между музыкой и живописью, однако такие модели вносят значительный шум и игнорируют более широкие перцептивные сигналы, выходящие за рамки эмоций. Для преодоления этих ограничений мы предлагаем новую систему оценки музыкально-индуцированной живописи, которая непосредственно моделирует перцептивную согласованность между музыкой и визуальным искусством. Мы представляем MPD — первый масштабный набор данных пар «музыка-живопись», аннотированных экспертами в данной области на основе перцептивной согласованности. Для лучшей обработки неоднозначных случаев мы дополнительно собираем аннотации парных предпочтений. На основе этого набора данных мы представляем MPJudge — модель, которая интегрирует музыкальные характеристики в визуальный кодировщик посредством механизма слияния на основе модуляции. Для эффективного обучения на неоднозначных примерах мы применяем оптимизацию прямых предпочтений. Многочисленные эксперименты демонстрируют превосходство нашего метода над существующими подходами. Качественные результаты дополнительно показывают, что наша модель точнее идентифицирует музыкально-релевантные области на картинах.

English

Music induced painting is a unique artistic practice, where visual artworks are created under the influence of music. Evaluating whether a painting faithfully reflects the music that inspired it poses a challenging perceptual assessment task. Existing methods primarily rely on emotion recognition models to assess the similarity between music and painting, but such models introduce considerable noise and overlook broader perceptual cues beyond emotion. To address these limitations, we propose a novel framework for music induced painting assessment that directly models perceptual coherence between music and visual art. We introduce MPD, the first large scale dataset of music painting pairs annotated by domain experts based on perceptual coherence. To better handle ambiguous cases, we further collect pairwise preference annotations. Building on this dataset, we present MPJudge, a model that integrates music features into a visual encoder via a modulation based fusion mechanism. To effectively learn from ambiguous cases, we adopt Direct Preference Optimization for training. Extensive experiments demonstrate that our method outperforms existing approaches. Qualitative results further show that our model more accurately identifies music relevant regions in paintings.