AudioBERT : Modèle de Langage Augmenté par la Connaissance Audio

AudioBERT: Audio Knowledge Augmented Language Model

September 12, 2024

Auteurs: Hyunjong Ok, Suho Yoo, Jaeho Lee

cs.AI

Résumé

Des études récentes ont identifié que les modèles de langage, pré-entraînés sur des ensembles de données textuelles uniquement, manquent souvent de connaissances visuelles élémentaires, par exemple les couleurs des objets du quotidien. Motivés par cette observation, nous nous demandons si une lacune similaire existe en termes de connaissances auditives. Pour répondre à cette question, nous avons construit un nouvel ensemble de données appelé AuditoryBench, qui se compose de deux tâches novatrices pour évaluer les connaissances auditives. Sur la base de notre analyse utilisant ce banc d'essai, nous constatons que les modèles de langage souffrent également d'un manque important de connaissances auditives. Pour remédier à cette limitation, nous proposons AudioBERT, une nouvelle méthode pour augmenter les connaissances auditives de BERT grâce à une approche basée sur la récupération. Tout d'abord, nous détectons des segments de connaissances auditives dans les requêtes pour interroger efficacement notre modèle de récupération. Ensuite, nous injectons des connaissances auditives dans BERT et activons une adaptation de rang faible pour une adaptation efficace lorsque des connaissances auditives sont requises. Nos expériences démontrent qu'AudioBERT est très efficace, atteignant des performances supérieures sur l'AuditoryBench. L'ensemble de données et le code sont disponibles sur https://github.com/HJ-Ok/AudioBERT.

English

Recent studies have identified that language models, pretrained on text-only datasets, often lack elementary visual knowledge, e.g., colors of everyday objects. Motivated by this observation, we ask whether a similar shortcoming exists in terms of the auditory knowledge. To answer this question, we construct a new dataset called AuditoryBench, which consists of two novel tasks for evaluating auditory knowledge. Based on our analysis using the benchmark, we find that language models also suffer from a severe lack of auditory knowledge. To address this limitation, we propose AudioBERT, a novel method to augment the auditory knowledge of BERT through a retrieval-based approach. First, we detect auditory knowledge spans in prompts to query our retrieval model efficiently. Then, we inject audio knowledge into BERT and switch on low-rank adaptation for effective adaptation when audio knowledge is required. Our experiments demonstrate that AudioBERT is quite effective, achieving superior performance on the AuditoryBench. The dataset and code are available at https://github.com/HJ-Ok/AudioBERT.