Un ampio dataset per l'apprendimento di rappresentazioni audio-linguistiche
A Large-scale Dataset for Audio-Language Representation Learning
September 20, 2023
Autori: Luoyi Sun, Xuenan Xu, Mengyue Wu, Weidi Xie
cs.AI
Abstract
La comunità dell'IA ha compiuto progressi significativi nello sviluppo di potenti modelli di base, alimentati da dataset multimodali su larga scala. Tuttavia, nella comunità di apprendimento della rappresentazione audio, gli attuali dataset audio-linguistici presentano limitazioni come volume insufficiente, contenuto semplificato e procedure di raccolta laboriose. Per affrontare queste sfide, presentiamo una pipeline innovativa e automatica per la generazione di didascalie audio basata su una serie di strumenti pubblici o API, e costruiamo un dataset audio-linguistico su larga scala e di alta qualità, denominato Auto-ACD, che comprende oltre 1,9 milioni di coppie audio-testo. Per dimostrare l'efficacia del dataset proposto, addestriamo modelli popolari sul nostro dataset e mostriamo un miglioramento delle prestazioni su varie attività downstream, ovvero recupero audio-linguistico, generazione di didascalie audio e classificazione dell'ambiente. Inoltre, istituiamo un nuovo set di test e forniamo un benchmark per le attività audio-testo. Il dataset proposto sarà rilasciato all'indirizzo https://auto-acd.github.io/.
English
The AI community has made significant strides in developing powerful
foundation models, driven by large-scale multimodal datasets. However, in the
audio representation learning community, the present audio-language datasets
suffer from limitations such as insufficient volume, simplistic content, and
arduous collection procedures. To tackle these challenges, we present an
innovative and automatic audio caption generation pipeline based on a series of
public tools or APIs, and construct a large-scale, high-quality, audio-language
dataset, named as Auto-ACD, comprising over 1.9M audio-text pairs. To
demonstrate the effectiveness of the proposed dataset, we train popular models
on our dataset and show performance improvement on various downstream tasks,
namely, audio-language retrieval, audio captioning, environment classification.
In addition, we establish a novel test set and provide a benchmark for
audio-text tasks. The proposed dataset will be released at
https://auto-acd.github.io/.