MPJudge: Rumo à Avaliação Perceptiva de Pinturas Induzidas por Música

MPJudge: Towards Perceptual Assessment of Music-Induced Paintings

November 10, 2025

Autores: Shiqi Jiang, Tianyi Liang, Changbo Wang, Chenhui Li

cs.AI

Resumo

A pintura induzida por música é uma prática artística única na qual obras visuais são criadas sob a influência da música. Avaliar se uma pintura reflete fielmente a música que a inspirou constitui uma tarefa desafiadora de avaliação perceptual. Os métodos existentes baseiam-se principalmente em modelos de reconhecimento de emoção para avaliar a similaridade entre a música e a pintura, mas tais modelos introduzem ruído considerável e negligenciam pistas perceptuais mais amplas para além da emoção. Para superar estas limitações, propomos uma nova estrutura para a avaliação de pintura induzida por música que modela diretamente a coerência perceptual entre a música e a arte visual. Apresentamos o MPD, o primeiro conjunto de dados em larga escala de pares música-pintura anotado por especialistas de domínio com base na coerência perceptual. Para lidar melhor com casos ambíguos, recolhemos adicionalmente anotações de preferência por pares. Com base neste conjunto de dados, apresentamos o MPJudge, um modelo que integra características da música num codificador visual através de um mecanismo de fusão baseado em modulação. Para aprender eficazmente com casos ambíguos, adotamos a Otimização de Preferência Direta para o treino. Experimentos extensivos demonstram que o nosso método supera as abordagens existentes. Resultados qualitativos mostram ainda que o nosso modelo identifica mais precisamente as regiões da pintura relevantes para a música.

English

Music induced painting is a unique artistic practice, where visual artworks are created under the influence of music. Evaluating whether a painting faithfully reflects the music that inspired it poses a challenging perceptual assessment task. Existing methods primarily rely on emotion recognition models to assess the similarity between music and painting, but such models introduce considerable noise and overlook broader perceptual cues beyond emotion. To address these limitations, we propose a novel framework for music induced painting assessment that directly models perceptual coherence between music and visual art. We introduce MPD, the first large scale dataset of music painting pairs annotated by domain experts based on perceptual coherence. To better handle ambiguous cases, we further collect pairwise preference annotations. Building on this dataset, we present MPJudge, a model that integrates music features into a visual encoder via a modulation based fusion mechanism. To effectively learn from ambiguous cases, we adopt Direct Preference Optimization for training. Extensive experiments demonstrate that our method outperforms existing approaches. Qualitative results further show that our model more accurately identifies music relevant regions in paintings.