MPJudge: Verso una Valutazione Percettiva dei Dipinti Ispirati dalla Musica

MPJudge: Towards Perceptual Assessment of Music-Induced Paintings

November 10, 2025

Autori: Shiqi Jiang, Tianyi Liang, Changbo Wang, Chenhui Li

cs.AI

Abstract

La pittura indotta dalla musica è una pratica artistica unica, in cui opere visive vengono create sotto l'influenza della musica. Valutare se un dipinto rifletta fedelmente la musica che lo ha ispirato costituisce un impegnativo compito di valutazione percettiva. I metodi esistenti si basano principalmente su modelli di riconoscimento emotivo per valutare la somiglianza tra musica e pittura, ma tali modelli introducono un rumore considerevole e trascurano indizi percettivi più ampi oltre l'emozione. Per affrontare queste limitazioni, proponiamo una nuova struttura per la valutazione della pittura indotta dalla musica che modella direttamente la coerenza percettiva tra musica e arte visiva. Introduciamo MPD, il primo dataset su larga scala di coppie musica-dipinto annotato da esperti del settore sulla base della coerenza percettiva. Per gestire meglio i casi ambigui, raccogliamo ulteriori annotazioni di preferenza a coppie. Basandoci su questo dataset, presentiamo MPJudge, un modello che integra le caratteristiche musicali in un codificatore visivo attraverso un meccanismo di fusione basato sulla modulazione. Per apprendere efficacemente dai casi ambigui, adottiamo l'Optimizzazione Diretta della Preferenza per l'addestramento. Esperimenti estensivi dimostrano che il nostro metodo supera gli approcci esistenti. I risultati qualitativi mostrano inoltre che il nostro modello identifica più accuratamente le regioni rilevanti per la musica nei dipinti.

English

Music induced painting is a unique artistic practice, where visual artworks are created under the influence of music. Evaluating whether a painting faithfully reflects the music that inspired it poses a challenging perceptual assessment task. Existing methods primarily rely on emotion recognition models to assess the similarity between music and painting, but such models introduce considerable noise and overlook broader perceptual cues beyond emotion. To address these limitations, we propose a novel framework for music induced painting assessment that directly models perceptual coherence between music and visual art. We introduce MPD, the first large scale dataset of music painting pairs annotated by domain experts based on perceptual coherence. To better handle ambiguous cases, we further collect pairwise preference annotations. Building on this dataset, we present MPJudge, a model that integrates music features into a visual encoder via a modulation based fusion mechanism. To effectively learn from ambiguous cases, we adopt Direct Preference Optimization for training. Extensive experiments demonstrate that our method outperforms existing approaches. Qualitative results further show that our model more accurately identifies music relevant regions in paintings.