FLAP: Preentrenamiento Rápido de Lenguaje-Audio

FLAP: Fast Language-Audio Pre-training

November 2, 2023

Autores: Ching-Feng Yeh, Po-Yao Huang, Vasu Sharma, Shang-Wen Li, Gargi Gosh

cs.AI

Resumen

Proponemos Fast Language-Audio Pre-training (FLAP), un enfoque auto-supervisado que aprende de manera eficiente y efectiva representaciones alineadas de audio y lenguaje mediante enmascaramiento, aprendizaje contrastivo y reconstrucción. Para mejorar la eficiencia, FLAP descarta aleatoriamente tokens del espectrograma de audio, centrándose únicamente en los restantes para la auto-supervisión. A través del aprendizaje contrastivo intermodal, FLAP aprende a alinear representaciones emparejadas de audio y texto en un espacio latente compartido. Destacablemente, FLAP aprovecha múltiples vistas aumentadas mediante enmascaramiento para el contraste intermodal y aprende a reconstruir la porción enmascarada de los tokens de audio. Además, FLAP utiliza modelos de lenguaje de gran escala (LLMs) para aumentar las entradas de texto, lo que contribuye a un mejor rendimiento. Estos enfoques conducen a representaciones audio-texto más robustas e informativas, permitiendo que FLAP alcance un rendimiento de vanguardia (SoTA) en tareas de recuperación audio-texto en AudioCaps (logrando un 53.0% en R@1) y Clotho (logrando un 25.5% en R@1).

English

We propose Fast Language-Audio Pre-training (FLAP), a self-supervised approach that efficiently and effectively learns aligned audio and language representations through masking, contrastive learning and reconstruction. For efficiency, FLAP randomly drops audio spectrogram tokens, focusing solely on the remaining ones for self-supervision. Through inter-modal contrastive learning, FLAP learns to align paired audio and text representations in a shared latent space. Notably, FLAP leverages multiple augmented views via masking for inter-modal contrast and learns to reconstruct the masked portion of audio tokens. Moreover, FLAP leverages large language models (LLMs) to augment the text inputs, contributing to improved performance. These approaches lead to more robust and informative audio-text representations, enabling FLAP to achieve state-of-the-art (SoTA) performance on audio-text retrieval tasks on AudioCaps (achieving 53.0% R@1) and Clotho (achieving 25.5% R@1).