Крупномасштабный набор данных для обучения представлений в области аудио и языка
A Large-scale Dataset for Audio-Language Representation Learning
September 20, 2023
Авторы: Luoyi Sun, Xuenan Xu, Mengyue Wu, Weidi Xie
cs.AI
Аннотация
Сообщество ИИ добилось значительных успехов в разработке мощных базовых моделей, чему способствовали крупномасштабные мультимодальные наборы данных. Однако в области обучения представлений аудио текущие наборы данных, связывающих аудио и текст, страдают от ограничений, таких как недостаточный объем, упрощенное содержание и трудоемкие процедуры сбора. Для решения этих проблем мы представляем инновационный и автоматизированный конвейер генерации аудиоописаний, основанный на серии общедоступных инструментов или API, и создаем крупномасштабный, высококачественный набор данных, связывающих аудио и текст, под названием Auto-ACD, содержащий более 1,9 млн пар аудио-текст. Чтобы продемонстрировать эффективность предложенного набора данных, мы обучаем популярные модели на наших данных и показываем улучшение производительности в различных задачах, а именно: поиск по аудио и тексту, генерация аудиоописаний и классификация окружающей среды. Кроме того, мы создаем новый тестовый набор и предоставляем эталон для задач, связанных с аудио и текстом. Предложенный набор данных будет опубликован по адресу https://auto-acd.github.io/.
English
The AI community has made significant strides in developing powerful
foundation models, driven by large-scale multimodal datasets. However, in the
audio representation learning community, the present audio-language datasets
suffer from limitations such as insufficient volume, simplistic content, and
arduous collection procedures. To tackle these challenges, we present an
innovative and automatic audio caption generation pipeline based on a series of
public tools or APIs, and construct a large-scale, high-quality, audio-language
dataset, named as Auto-ACD, comprising over 1.9M audio-text pairs. To
demonstrate the effectiveness of the proposed dataset, we train popular models
on our dataset and show performance improvement on various downstream tasks,
namely, audio-language retrieval, audio captioning, environment classification.
In addition, we establish a novel test set and provide a benchmark for
audio-text tasks. The proposed dataset will be released at
https://auto-acd.github.io/.