MPJudge: Hacia la Evaluación Perceptual de Pinturas Inducidas por la Música

MPJudge: Towards Perceptual Assessment of Music-Induced Paintings

November 10, 2025

Autores: Shiqi Jiang, Tianyi Liang, Changbo Wang, Chenhui Li

cs.AI

Resumen

La pintura inducida por música es una práctica artística singular donde se crean obras visuales bajo la influencia de la música. Evaluar si una pintura refleja fielmente la música que la inspiró constituye una tarea de evaluación perceptiva compleja. Los métodos existentes se basan principalmente en modelos de reconocimiento de emociones para valorar la similitud entre música y pintura, pero dichos modelos introducen un ruido considerable y pasan por alto claves perceptivas más allá de la emoción. Para abordar estas limitaciones, proponemos un marco novedoso de evaluación de pintura inducida por música que modela directamente la coherencia perceptiva entre el arte musical y visual. Presentamos MPD, el primer conjunto de datos a gran escala de pares música-pintura anotado por expertos en base a coherencia perceptiva. Para manejar mejor casos ambiguos, recopilamos adicionalmente anotaciones de preferencias por pares. Sobre este conjunto de datos, presentamos MPJudge, un modelo que integra características musicales en un codificador visual mediante un mecanismo de fusión basado en modulación. Para aprender efectivamente de casos ambiguos, adoptamos la Optimización Directa de Preferencias en el entrenamiento. Experimentos exhaustivos demuestran que nuestro método supera a los enfoques existentes. Resultados cualitativos muestran además que nuestro modelo identifica con mayor precisión las regiones pictóricas relevantes para la música.

English

Music induced painting is a unique artistic practice, where visual artworks are created under the influence of music. Evaluating whether a painting faithfully reflects the music that inspired it poses a challenging perceptual assessment task. Existing methods primarily rely on emotion recognition models to assess the similarity between music and painting, but such models introduce considerable noise and overlook broader perceptual cues beyond emotion. To address these limitations, we propose a novel framework for music induced painting assessment that directly models perceptual coherence between music and visual art. We introduce MPD, the first large scale dataset of music painting pairs annotated by domain experts based on perceptual coherence. To better handle ambiguous cases, we further collect pairwise preference annotations. Building on this dataset, we present MPJudge, a model that integrates music features into a visual encoder via a modulation based fusion mechanism. To effectively learn from ambiguous cases, we adopt Direct Preference Optimization for training. Extensive experiments demonstrate that our method outperforms existing approaches. Qualitative results further show that our model more accurately identifies music relevant regions in paintings.