Geschmacksbewusster Musikabruf aus Audio-Embeddings

Zusammenfassung

Kreuzmodale Korrespondenzen zwischen Klang und Geschmack sind in der Psychologie und Neurowissenschaft gut etabliert, fehlen jedoch weitgehend im inhaltsbasierten Multimedia-Retrieval. Wir formalisieren die Vorhersage von Geschmack aus Audio als inhaltsbasierten Benchmark für Music Information Retrieval über ein perceptuell validiertes Multi-Quellen-Korpus, wobei wir zehn eingefrorene Audio-Encoder aus den vier HEAR-Familien unter einem gemeinsamen Multi-Task-Regressionskopf vergleichen, mit Gated Late Fusion als konfigurierbarer Variante. Um die Effektivität der Modelle zu bewerten, berechnen wir den absoluten Fehler und die Rangkorrelation. Die stärksten Systeme sagen die fünf Geschmacksrichtungen mit einem makro RMSE von 0,134 voraus; bei ausgelassener echter Musik liegt ihr Fehler unter der Hälfte der Abweichung eines einzelnen Bewerters vom Konsens (RMSE 0,13 vs. 0,28), sodass das Modell den Gruppenkonsens genauer verfolgt als ein durchschnittlicher menschlicher Bewerter und weit unter der bisherigen State-of-the-Art-Baseline (0,219) liegt. Beim absoluten Fehler sind die Encoder statistisch flach, wobei ein einzelner VGGish mit der besten Fusion übereinstimmt, aber der Vorteil der Gated Late Fusion beschränkt sich auf die Rangkorrelation (makro Pearson r 0,724 vs. 0,666). Operationalisiert als inhaltsbasierter Retrieval-Index ordnet der vorhergesagte Geschmacksraum einen Pool von 309 Elementen weitaus getreuer ein als eine CLAP-Text-Baseline, die auf Zufallsniveau liegt; Ridge-Proben und ein Audio-Bandstop-Knockout ermitteln die stärksten Repräsentationen im Abgleich mit dokumentierten Klang-Geschmack-Korrespondenzen.

English

Crossmodal correspondences between sound and taste are well established in psychology and neuroscience, but largely absent from content-based multimedia retrieval. We formalise taste-from-audio prediction as a content-based music information retrieval benchmark over a perceptually validated multi-source corpus, comparing ten frozen audio encoders from the four HEAR families under a shared multi-task regression head, with gated late-fusion as a configurable variant. In order to assess the effectiveness of the models, we compute absolute error and rank correlation. The strongest systems predict the five tastes within a macro RMSE of 0.134; on held-out real music their error is less than half a single rater's deviation from the consensus (RMSE 0.13 vs. 0.28), so the model tracks the group consensus more closely than an average human rater, and well below the previous state of the art baseline (0.219). On absolute error the encoders are statistically flat, with a single VGGish matching the best fusion, but gated late-fusion's advantage is confined to rank correlation (macro Pearson r 0.724 vs. 0.666). Operationalised as a content-based retrieval index, the predicted taste space ranks a 309-item pool far more faithfully than a CLAP-text baseline, which sits at chance; ridge probes and an audio-bandstop knockout read the strongest representations against documented sound-taste correspondences.