Un jeu de données à grande échelle pour l'apprentissage de représentations audio-linguistiques
A Large-scale Dataset for Audio-Language Representation Learning
September 20, 2023
Auteurs: Luoyi Sun, Xuenan Xu, Mengyue Wu, Weidi Xie
cs.AI
Résumé
La communauté de l'IA a réalisé des progrès significatifs dans le développement de modèles de base puissants, alimentés par des ensembles de données multimodales à grande échelle. Cependant, dans le domaine de l'apprentissage de représentations audio, les ensembles de données audio-langage actuels souffrent de limitations telles qu'un volume insuffisant, un contenu simpliste et des procédures de collecte laborieuses. Pour relever ces défis, nous présentons un pipeline innovant et automatique de génération de légendes audio basé sur une série d'outils publics ou d'API, et construisons un ensemble de données audio-langage à grande échelle et de haute qualité, nommé Auto-ACD, comprenant plus de 1,9 million de paires audio-texte. Pour démontrer l'efficacité de l'ensemble de données proposé, nous entraînons des modèles populaires sur notre ensemble de données et montrons une amélioration des performances sur diverses tâches en aval, à savoir la recherche audio-langage, la génération de légendes audio et la classification de l'environnement. En outre, nous établissons un nouvel ensemble de test et fournissons un benchmark pour les tâches audio-texte. L'ensemble de données proposé sera disponible à l'adresse https://auto-acd.github.io/.
English
The AI community has made significant strides in developing powerful
foundation models, driven by large-scale multimodal datasets. However, in the
audio representation learning community, the present audio-language datasets
suffer from limitations such as insufficient volume, simplistic content, and
arduous collection procedures. To tackle these challenges, we present an
innovative and automatic audio caption generation pipeline based on a series of
public tools or APIs, and construct a large-scale, high-quality, audio-language
dataset, named as Auto-ACD, comprising over 1.9M audio-text pairs. To
demonstrate the effectiveness of the proposed dataset, we train popular models
on our dataset and show performance improvement on various downstream tasks,
namely, audio-language retrieval, audio captioning, environment classification.
In addition, we establish a novel test set and provide a benchmark for
audio-text tasks. The proposed dataset will be released at
https://auto-acd.github.io/.