FLAP: Schnelles Sprach-Audio-Vortraining

FLAP: Fast Language-Audio Pre-training

November 2, 2023

Autoren: Ching-Feng Yeh, Po-Yao Huang, Vasu Sharma, Shang-Wen Li, Gargi Gosh

cs.AI

Zusammenfassung

Wir schlagen Fast Language-Audio Pre-training (FLAP) vor, einen selbstüberwachten Ansatz, der effizient und effektiv ausgerichtete Audio- und Sprachrepräsentationen durch Maskierung, kontrastives Lernen und Rekonstruktion erlernt. Für die Effizienz verwirft FLAP zufällig Audio-Spektrogramm-Tokens und konzentriert sich ausschließlich auf die verbleibenden für die Selbstüberwachung. Durch inter-modales kontrastives Lernen lernt FLAP, gepaarte Audio- und Textrepräsentationen in einem gemeinsamen latenten Raum auszurichten. Bemerkenswert ist, dass FLAP mehrere augmentierte Ansichten durch Maskierung für den inter-modalen Kontrast nutzt und lernt, den maskierten Teil der Audio-Tokens zu rekonstruieren. Darüber hinaus nutzt FLAP große Sprachmodelle (LLMs), um die Texteingaben zu augmentieren, was zu einer verbesserten Leistung beiträgt. Diese Ansätze führen zu robusteren und informativeren Audio-Text-Repräsentationen, wodurch FLAP state-of-the-art (SoTA) Leistung bei Audio-Text-Retrieval-Aufgaben auf AudioCaps (53,0 % R@1) und Clotho (25,5 % R@1) erreicht.

English

We propose Fast Language-Audio Pre-training (FLAP), a self-supervised approach that efficiently and effectively learns aligned audio and language representations through masking, contrastive learning and reconstruction. For efficiency, FLAP randomly drops audio spectrogram tokens, focusing solely on the remaining ones for self-supervision. Through inter-modal contrastive learning, FLAP learns to align paired audio and text representations in a shared latent space. Notably, FLAP leverages multiple augmented views via masking for inter-modal contrast and learns to reconstruct the masked portion of audio tokens. Moreover, FLAP leverages large language models (LLMs) to augment the text inputs, contributing to improved performance. These approaches lead to more robust and informative audio-text representations, enabling FLAP to achieve state-of-the-art (SoTA) performance on audio-text retrieval tasks on AudioCaps (achieving 53.0% R@1) and Clotho (achieving 25.5% R@1).