FLAP: Pré-treinamento Rápido de Linguagem-Áudio

FLAP: Fast Language-Audio Pre-training

November 2, 2023

Autores: Ching-Feng Yeh, Po-Yao Huang, Vasu Sharma, Shang-Wen Li, Gargi Gosh

cs.AI

Resumo

Propomos o Fast Language-Audio Pre-training (FLAP), uma abordagem auto-supervisionada que aprende de forma eficiente e eficaz representações alinhadas de áudio e linguagem por meio de mascaramento, aprendizado contrastivo e reconstrução. Para eficiência, o FLAP descarta aleatoriamente tokens do espectrograma de áudio, focando apenas nos restantes para auto-supervisão. Através do aprendizado contrastivo intermodal, o FLAP aprende a alinhar representações de áudio e texto pareadas em um espaço latente compartilhado. Notavelmente, o FLAP aproveita múltiplas visões aumentadas via mascaramento para contraste intermodal e aprende a reconstruir a porção mascarada dos tokens de áudio. Além disso, o FLAP utiliza grandes modelos de linguagem (LLMs) para aumentar as entradas de texto, contribuindo para um desempenho aprimorado. Essas abordagens resultam em representações áudio-texto mais robustas e informativas, permitindo que o FLAP alcance desempenho state-of-the-art (SoTA) em tarefas de recuperação áudio-texto no AudioCaps (atingindo 53,0% R@1) e no Clotho (atingindo 25,5% R@1).

English

We propose Fast Language-Audio Pre-training (FLAP), a self-supervised approach that efficiently and effectively learns aligned audio and language representations through masking, contrastive learning and reconstruction. For efficiency, FLAP randomly drops audio spectrogram tokens, focusing solely on the remaining ones for self-supervision. Through inter-modal contrastive learning, FLAP learns to align paired audio and text representations in a shared latent space. Notably, FLAP leverages multiple augmented views via masking for inter-modal contrast and learns to reconstruct the masked portion of audio tokens. Moreover, FLAP leverages large language models (LLMs) to augment the text inputs, contributing to improved performance. These approaches lead to more robust and informative audio-text representations, enabling FLAP to achieve state-of-the-art (SoTA) performance on audio-text retrieval tasks on AudioCaps (achieving 53.0% R@1) and Clotho (achieving 25.5% R@1).