FLAP : Pré-entraînement Rapide Langage-Audio

FLAP: Fast Language-Audio Pre-training

November 2, 2023

Auteurs: Ching-Feng Yeh, Po-Yao Huang, Vasu Sharma, Shang-Wen Li, Gargi Gosh

cs.AI

Résumé

Nous proposons Fast Language-Audio Pre-training (FLAP), une approche auto-supervisée qui apprend de manière efficace et efficiente des représentations alignées de l'audio et du langage grâce au masquage, à l'apprentissage contrastif et à la reconstruction. Pour l'efficacité, FLAP supprime aléatoirement des tokens de spectrogramme audio, en se concentrant uniquement sur ceux qui restent pour l'auto-supervision. Grâce à l'apprentissage contrastif inter-modal, FLAP apprend à aligner les représentations audio et texte appariées dans un espace latent partagé. Notamment, FLAP exploite plusieurs vues augmentées via le masquage pour le contraste inter-modal et apprend à reconstruire la partie masquée des tokens audio. De plus, FLAP utilise des modèles de langage de grande taille (LLMs) pour augmenter les entrées textuelles, contribuant ainsi à une amélioration des performances. Ces approches conduisent à des représentations audio-texte plus robustes et informatives, permettant à FLAP d'atteindre des performances de pointe (SoTA) sur les tâches de récupération audio-texte sur AudioCaps (atteignant 53,0 % R@1) et Clotho (atteignant 25,5 % R@1).

English

We propose Fast Language-Audio Pre-training (FLAP), a self-supervised approach that efficiently and effectively learns aligned audio and language representations through masking, contrastive learning and reconstruction. For efficiency, FLAP randomly drops audio spectrogram tokens, focusing solely on the remaining ones for self-supervision. Through inter-modal contrastive learning, FLAP learns to align paired audio and text representations in a shared latent space. Notably, FLAP leverages multiple augmented views via masking for inter-modal contrast and learns to reconstruct the masked portion of audio tokens. Moreover, FLAP leverages large language models (LLMs) to augment the text inputs, contributing to improved performance. These approaches lead to more robust and informative audio-text representations, enabling FLAP to achieve state-of-the-art (SoTA) performance on audio-text retrieval tasks on AudioCaps (achieving 53.0% R@1) and Clotho (achieving 25.5% R@1).