FLAP: Быстрое предварительное обучение для языка и аудио

FLAP: Fast Language-Audio Pre-training

November 2, 2023

Авторы: Ching-Feng Yeh, Po-Yao Huang, Vasu Sharma, Shang-Wen Li, Gargi Gosh

cs.AI

Аннотация

Мы предлагаем Fast Language-Audio Pre-training (FLAP) — самообучаемый подход, который эффективно и результативно изучает согласованные аудио- и языковые представления с использованием маскирования, контрастного обучения и реконструкции. Для повышения эффективности FLAP случайным образом отбрасывает токены аудиоспектрограмм, сосредотачиваясь исключительно на оставшихся для самообучения. С помощью межмодального контрастного обучения FLAP учится выравнивать парные аудио- и текстовые представления в общем латентном пространстве. Примечательно, что FLAP использует несколько усиленных представлений через маскирование для межмодального контраста и учится восстанавливать замаскированную часть аудиотокенов. Кроме того, FLAP задействует большие языковые модели (LLM) для улучшения текстовых входных данных, что способствует повышению производительности. Эти подходы приводят к созданию более устойчивых и информативных аудио-текстовых представлений, позволяя FLAP достичь передовых результатов (SoTA) в задачах аудио-текстового поиска на наборах данных AudioCaps (достигая 53,0% R@1) и Clotho (достигая 25,5% R@1).

English

We propose Fast Language-Audio Pre-training (FLAP), a self-supervised approach that efficiently and effectively learns aligned audio and language representations through masking, contrastive learning and reconstruction. For efficiency, FLAP randomly drops audio spectrogram tokens, focusing solely on the remaining ones for self-supervision. Through inter-modal contrastive learning, FLAP learns to align paired audio and text representations in a shared latent space. Notably, FLAP leverages multiple augmented views via masking for inter-modal contrast and learns to reconstruct the masked portion of audio tokens. Moreover, FLAP leverages large language models (LLMs) to augment the text inputs, contributing to improved performance. These approaches lead to more robust and informative audio-text representations, enabling FLAP to achieve state-of-the-art (SoTA) performance on audio-text retrieval tasks on AudioCaps (achieving 53.0% R@1) and Clotho (achieving 25.5% R@1).