CLaMP 3: Recuperación de Información Musical Universal a Través de Modalidades No Alineadas e Idiomas No Vistos

CLaMP 3: Universal Music Information Retrieval Across Unaligned Modalities and Unseen Languages

February 14, 2025

Autores: Shangda Wu, Zhancheng Guo, Ruibin Yuan, Junyan Jiang, Seungheon Doh, Gus Xia, Juhan Nam, Xiaobing Li, Feng Yu, Maosong Sun

cs.AI

Resumen

CLaMP 3 es un marco unificado desarrollado para abordar los desafíos de generalización cruzada de modalidades y lenguajes en la recuperación de información musical. Utilizando el aprendizaje contrastivo, alinea todas las principales modalidades musicales, incluyendo partituras, señales de interpretación y grabaciones de audio, con texto multilingüe en un espacio de representación compartido, lo que permite la recuperación entre modalidades no alineadas con el texto como puente. Presenta un codificador de texto multilingüe adaptable a idiomas no vistos, mostrando una sólida generalización cruzada de lenguajes. Aprovechando la generación aumentada por recuperación, creamos M4-RAG, un conjunto de datos a escala web que consta de 2.31 millones de pares música-texto. Este conjunto de datos está enriquecido con metadatos detallados que representan una amplia gama de tradiciones musicales globales. Para avanzar en la investigación futura, lanzamos WikiMT-X, un banco de pruebas que comprende 1,000 tripletes de partituras, audio y descripciones de texto variadas y ricas. Los experimentos muestran que CLaMP 3 logra un rendimiento de vanguardia en múltiples tareas de recuperación de información musical, superando significativamente baselines sólidos anteriores y demostrando una excelente generalización en contextos musicales multimodales y multilingües.

English

CLaMP 3 is a unified framework developed to address challenges of cross-modal and cross-lingual generalization in music information retrieval. Using contrastive learning, it aligns all major music modalities--including sheet music, performance signals, and audio recordings--with multilingual text in a shared representation space, enabling retrieval across unaligned modalities with text as a bridge. It features a multilingual text encoder adaptable to unseen languages, exhibiting strong cross-lingual generalization. Leveraging retrieval-augmented generation, we curated M4-RAG, a web-scale dataset consisting of 2.31 million music-text pairs. This dataset is enriched with detailed metadata that represents a wide array of global musical traditions. To advance future research, we release WikiMT-X, a benchmark comprising 1,000 triplets of sheet music, audio, and richly varied text descriptions. Experiments show that CLaMP 3 achieves state-of-the-art performance on multiple MIR tasks, significantly surpassing previous strong baselines and demonstrating excellent generalization in multimodal and multilingual music contexts.