MPJudge: Naar een perceptuele beoordeling van muziek-geïnduceerde schilderijen

MPJudge: Towards Perceptual Assessment of Music-Induced Paintings

November 10, 2025

Auteurs: Shiqi Jiang, Tianyi Liang, Changbo Wang, Chenhui Li

cs.AI

Samenvatting

Muziekgeïnduceerd schilderen is een unieke artistieke praktijk waarbij visuele kunstwerken worden gecreëerd onder invloed van muziek. Het evalueren of een schilderij de inspirerende muziek trouw weerspiegelt, vormt een uitdagende perceptuele beoordelingstaak. Bestaande methodes vertrouwen voornamelijk op emotieherkenningsmodellen om de gelijkenis tussen muziek en schilderij te beoordelen, maar dergelijke modellen introduceren aanzienlijke ruis en negeren bredere perceptuele signalen buiten emotie om. Om deze beperkingen aan te pakken, stellen we een nieuw raamwerk voor voor de evaluatie van muziekgeïnduceerde schilderijen dat direct de perceptuele samenhang tussen muziek en visuele kunst modelleert. We introduceren MPD, de eerste grootschalige dataset van muziek-schilderij paren geannoteerd door domeinexperts op basis van perceptuele coherentie. Om beter om te gaan met ambigue gevallen, verzamelen we verder paarsgewijze voorkeursannotaties. Op basis van deze dataset presenteren we MPJudge, een model dat muziekkenmerken integreert in een visuele encoder via een op modulatie gebaseerd fusiemechanisme. Om effectief te leren van ambigue gevallen, nemen we Direct Preference Optimization over voor de training. Uitgebreide experimenten tonen aan dat onze methode superieur presteert ten opzichte van bestaande benaderingen. Kwalitatieve resultaten tonen verder aan dat ons model nauwkeuriger muziekrelevante regio's in schilderijen identificeert.

English

Music induced painting is a unique artistic practice, where visual artworks are created under the influence of music. Evaluating whether a painting faithfully reflects the music that inspired it poses a challenging perceptual assessment task. Existing methods primarily rely on emotion recognition models to assess the similarity between music and painting, but such models introduce considerable noise and overlook broader perceptual cues beyond emotion. To address these limitations, we propose a novel framework for music induced painting assessment that directly models perceptual coherence between music and visual art. We introduce MPD, the first large scale dataset of music painting pairs annotated by domain experts based on perceptual coherence. To better handle ambiguous cases, we further collect pairwise preference annotations. Building on this dataset, we present MPJudge, a model that integrates music features into a visual encoder via a modulation based fusion mechanism. To effectively learn from ambiguous cases, we adopt Direct Preference Optimization for training. Extensive experiments demonstrate that our method outperforms existing approaches. Qualitative results further show that our model more accurately identifies music relevant regions in paintings.