MPJudge : Vers une évaluation perceptive des peintures induites par la musique

MPJudge: Towards Perceptual Assessment of Music-Induced Paintings

November 10, 2025

papers.authors: Shiqi Jiang, Tianyi Liang, Changbo Wang, Chenhui Li

cs.AI

papers.abstract

La peinture induite par la musique est une pratique artistique unique où des œuvres visuelles sont créées sous l'influence de la musique. Évaluer si une peinture reflète fidèlement la musique qui l'a inspirée constitue une tâche d'évaluation perceptive difficile. Les méthodes existantes reposent principalement sur des modèles de reconnaissance des émotions pour évaluer la similarité entre la musique et la peinture, mais ces modèles introduisent un bruit considérable et négligent les indices perceptifs au-delà de l'émotion. Pour résoudre ces limitations, nous proposons un nouveau cadre d'évaluation de la peinture induite par la musique qui modélise directement la cohérence perceptive entre la musique et l'art visuel. Nous présentons MPD, la première base de données à grande échelle de paires musique-peinture annotées par des experts du domaine sur la base de la cohérence perceptive. Pour mieux traiter les cas ambigus, nous collectons en outre des annotations de préférence par paires. Sur la base de cet ensemble de données, nous présentons MPJudge, un modèle qui intègre des caractéristiques musicales dans un encodeur visuel via un mécanisme de fusion par modulation. Pour apprendre efficacement à partir de cas ambigus, nous adoptons l'optimisation directe des préférences pour l'entraînement. Des expériences approfondies démontrent que notre méthode surpasse les approches existantes. Les résultats qualitatifs montrent en outre que notre modèle identifie plus précisément les régions pertinentes de la musique dans les peintures.

English

Music induced painting is a unique artistic practice, where visual artworks are created under the influence of music. Evaluating whether a painting faithfully reflects the music that inspired it poses a challenging perceptual assessment task. Existing methods primarily rely on emotion recognition models to assess the similarity between music and painting, but such models introduce considerable noise and overlook broader perceptual cues beyond emotion. To address these limitations, we propose a novel framework for music induced painting assessment that directly models perceptual coherence between music and visual art. We introduce MPD, the first large scale dataset of music painting pairs annotated by domain experts based on perceptual coherence. To better handle ambiguous cases, we further collect pairwise preference annotations. Building on this dataset, we present MPJudge, a model that integrates music features into a visual encoder via a modulation based fusion mechanism. To effectively learn from ambiguous cases, we adopt Direct Preference Optimization for training. Extensive experiments demonstrate that our method outperforms existing approaches. Qualitative results further show that our model more accurately identifies music relevant regions in paintings.