MPJudge：音楽誘発絵画の知覚的評価に向けて

要旨

音楽誘発絵画は、音楽の影響下で視覚芸術作品を創作する独特の芸術実践である。絵画がそのインスピレーション源となった音楽を忠実に反映しているかどうかを評価することは、困難な知覚評価課題である。既存手法は主に感情認識モデルに依存して音楽と絵画の類似性を評価するが、このようなモデルは多大なノイズを導入し、感情以外の広範な知覚的手がかりを見落としている。これらの限界に対処するため、本論文では音楽と視覚芸術の間の知覚的コヒーレンスを直接モデル化する、音楽誘発絵画評価の新規フレームワークを提案する。我々は、ドメイン専門家が知覚的コヒーレンスに基づいて注釈を付けた初の大規模データセットMPDを導入する。曖昧な事例をより適切に扱うため、さらにペアワイルド選好注釈を収集する。このデータセットに基づき、変調ベースの融合メカニズムを通じて音楽特徴を視覚エンコーダに統合するMPJudgeモデルを提示する。曖昧な事例からの効果的な学習のために、訓練にDirect Preference Optimizationを採用する。大規模な実験により、本手法が既存手法を凌駕することを実証する。定性的結果はさらに、本モデルが絵画内の音楽関連領域をより正確に特定することを示す。

English

Music induced painting is a unique artistic practice, where visual artworks are created under the influence of music. Evaluating whether a painting faithfully reflects the music that inspired it poses a challenging perceptual assessment task. Existing methods primarily rely on emotion recognition models to assess the similarity between music and painting, but such models introduce considerable noise and overlook broader perceptual cues beyond emotion. To address these limitations, we propose a novel framework for music induced painting assessment that directly models perceptual coherence between music and visual art. We introduce MPD, the first large scale dataset of music painting pairs annotated by domain experts based on perceptual coherence. To better handle ambiguous cases, we further collect pairwise preference annotations. Building on this dataset, we present MPJudge, a model that integrates music features into a visual encoder via a modulation based fusion mechanism. To effectively learn from ambiguous cases, we adopt Direct Preference Optimization for training. Extensive experiments demonstrate that our method outperforms existing approaches. Qualitative results further show that our model more accurately identifies music relevant regions in paintings.

MPJudge：音楽誘発絵画の知覚的評価に向けて

MPJudge: Towards Perceptual Assessment of Music-Induced Paintings

要旨

Support