FLAP: Snelle Taal-Audio Voorafgaande Training

FLAP: Fast Language-Audio Pre-training

November 2, 2023

Auteurs: Ching-Feng Yeh, Po-Yao Huang, Vasu Sharma, Shang-Wen Li, Gargi Gosh

cs.AI

Samenvatting

Wij stellen Fast Language-Audio Pre-training (FLAP) voor, een zelfgesuperviseerde aanpak die efficiënt en effectief uitgelijnde audio- en taalrepresentaties leert door middel van masking, contrastief leren en reconstructie. Voor efficiëntie verwijdert FLAP willekeurig audiospectrogramtokens en richt zich uitsluitend op de overgebleven tokens voor zelfsupervisie. Door intermodaal contrastief leren leert FLAP om gepaarde audio- en tekstrepresentaties uit te lijnen in een gedeelde latente ruimte. Opmerkelijk is dat FLAP meerdere geaugmenteerde weergaven benut via masking voor intermodaal contrast en leert om het gemaskeerde deel van audiotokens te reconstrueren. Bovendien maakt FLAP gebruik van grote taalmodellen (LLMs) om de tekstinvoer te verrijken, wat bijdraagt aan verbeterde prestaties. Deze benaderingen leiden tot robuustere en informatievere audio-tekstrepresentaties, waardoor FLAP state-of-the-art (SoTA) prestaties kan behalen op audio-tekst retrieval taken op AudioCaps (met een score van 53,0% R@1) en Clotho (met een score van 25,5% R@1).

English

We propose Fast Language-Audio Pre-training (FLAP), a self-supervised approach that efficiently and effectively learns aligned audio and language representations through masking, contrastive learning and reconstruction. For efficiency, FLAP randomly drops audio spectrogram tokens, focusing solely on the remaining ones for self-supervision. Through inter-modal contrastive learning, FLAP learns to align paired audio and text representations in a shared latent space. Notably, FLAP leverages multiple augmented views via masking for inter-modal contrast and learns to reconstruct the masked portion of audio tokens. Moreover, FLAP leverages large language models (LLMs) to augment the text inputs, contributing to improved performance. These approaches lead to more robust and informative audio-text representations, enabling FLAP to achieve state-of-the-art (SoTA) performance on audio-text retrieval tasks on AudioCaps (achieving 53.0% R@1) and Clotho (achieving 25.5% R@1).