MPJudge: Auf dem Weg zur perzeptuellen Bewertung von musikinduzierten Gemälden

MPJudge: Towards Perceptual Assessment of Music-Induced Paintings

November 10, 2025

papers.authors: Shiqi Jiang, Tianyi Liang, Changbo Wang, Chenhui Li

cs.AI

papers.abstract

Musikinduziertes Malen ist eine einzigartige künstlerische Praxis, bei der visuelle Kunstwerke unter dem Einfluss von Musik geschaffen werden. Die Bewertung, ob ein Gemälde die inspirierende Musik treu widerspiegelt, stellt eine anspruchsvolle perzeptive Beurteilungsaufgabe dar. Bestehende Methoden stützen sich primär auf Emotionserkennungsmodelle, um die Ähnlichkeit zwischen Musik und Gemälde zu bewerten, doch solche Modelle führen erhebliches Rauschen ein und übersehen breitere perzeptive Hinweise jenseits der Emotion. Um diese Einschränkungen zu adressieren, schlagen wir einen neuartigen Rahmen zur Bewertung musikinduzierter Malerei vor, der direkt die perzeptive Kohärenz zwischen Musik und visueller Kunst modelliert. Wir führen MPD ein, den ersten großangelegten Datensatz von Musik-Gemälde-Paaren, der von Domain-Experten auf Basis perzeptiver Kohärenz annotiert wurde. Um mehrdeutige Fälle besser handhaben zu können, erfassen wir zusätzlich paarweise Präferenzannotationen. Aufbauend auf diesem Datensatz präsentieren wir MPJudge, ein Modell, das Musikmerkmale über einen modulationsbasierten Fusionsmechanismus in einen visuellen Encoder integriert. Um effektiv aus mehrdeutigen Fällen zu lernen, setzen wir Direct Preference Optimization für das Training ein. Umfangreiche Experimente belegen, dass unsere Methode bestehende Ansätze übertrifft. Qualitative Ergebnisse zeigen weiterhin, dass unser Modell musikrelevante Regionen in Gemälden genauer identifiziert.

English

Music induced painting is a unique artistic practice, where visual artworks are created under the influence of music. Evaluating whether a painting faithfully reflects the music that inspired it poses a challenging perceptual assessment task. Existing methods primarily rely on emotion recognition models to assess the similarity between music and painting, but such models introduce considerable noise and overlook broader perceptual cues beyond emotion. To address these limitations, we propose a novel framework for music induced painting assessment that directly models perceptual coherence between music and visual art. We introduce MPD, the first large scale dataset of music painting pairs annotated by domain experts based on perceptual coherence. To better handle ambiguous cases, we further collect pairwise preference annotations. Building on this dataset, we present MPJudge, a model that integrates music features into a visual encoder via a modulation based fusion mechanism. To effectively learn from ambiguous cases, we adopt Direct Preference Optimization for training. Extensive experiments demonstrate that our method outperforms existing approaches. Qualitative results further show that our model more accurately identifies music relevant regions in paintings.