Um Grande Conjunto de Dados para Aprendizado de Representação Áudio-Linguagem
A Large-scale Dataset for Audio-Language Representation Learning
September 20, 2023
Autores: Luoyi Sun, Xuenan Xu, Mengyue Wu, Weidi Xie
cs.AI
Resumo
A comunidade de IA tem feito avanços significativos no desenvolvimento de modelos base poderosos, impulsionados por conjuntos de dados multimodais em larga escala. No entanto, na comunidade de aprendizado de representação de áudio, os atuais conjuntos de dados de áudio e linguagem sofrem com limitações como volume insuficiente, conteúdo simplista e procedimentos de coleta árduos. Para enfrentar esses desafios, apresentamos um pipeline inovador e automático de geração de legendas de áudio baseado em uma série de ferramentas públicas ou APIs, e construímos um conjunto de dados de áudio e linguagem em larga escala e de alta qualidade, denominado Auto-ACD, composto por mais de 1,9 milhão de pares de áudio-texto. Para demonstrar a eficácia do conjunto de dados proposto, treinamos modelos populares em nosso conjunto de dados e mostramos melhorias de desempenho em várias tarefas subsequentes, nomeadamente, recuperação de áudio-linguagem, legendagem de áudio e classificação de ambiente. Além disso, estabelecemos um novo conjunto de teste e fornecemos um benchmark para tarefas de áudio-texto. O conjunto de dados proposto será disponibilizado em https://auto-acd.github.io/.
English
The AI community has made significant strides in developing powerful
foundation models, driven by large-scale multimodal datasets. However, in the
audio representation learning community, the present audio-language datasets
suffer from limitations such as insufficient volume, simplistic content, and
arduous collection procedures. To tackle these challenges, we present an
innovative and automatic audio caption generation pipeline based on a series of
public tools or APIs, and construct a large-scale, high-quality, audio-language
dataset, named as Auto-ACD, comprising over 1.9M audio-text pairs. To
demonstrate the effectiveness of the proposed dataset, we train popular models
on our dataset and show performance improvement on various downstream tasks,
namely, audio-language retrieval, audio captioning, environment classification.
In addition, we establish a novel test set and provide a benchmark for
audio-text tasks. The proposed dataset will be released at
https://auto-acd.github.io/.