AudioBERT: Modello Linguistico Potenziato da Conoscenza Audio

AudioBERT: Audio Knowledge Augmented Language Model

September 12, 2024

Autori: Hyunjong Ok, Suho Yoo, Jaeho Lee

cs.AI

Abstract

Studi recenti hanno identificato che i modelli linguistici, preaddestrati su set di dati solo testuali, spesso mancano di conoscenze visive elementari, ad esempio i colori degli oggetti di tutti i giorni. Motivati da questa osservazione, ci chiediamo se esista una simile carenza in termini di conoscenza uditiva. Per rispondere a questa domanda, abbiamo creato un nuovo set di dati chiamato AuditoryBench, che consiste in due nuovi compiti per valutare la conoscenza uditiva. Sulla base della nostra analisi utilizzando il benchmark, abbiamo riscontrato che i modelli linguistici soffrono anche di una grave mancanza di conoscenza uditiva. Per affrontare questa limitazione, proponiamo AudioBERT, un nuovo metodo per ampliare la conoscenza uditiva di BERT attraverso un approccio basato sul recupero. In primo luogo, individuiamo tratti di conoscenza uditiva nei prompt per interrogare efficacemente il nostro modello di recupero. Successivamente, iniettiamo la conoscenza uditiva in BERT e attiviamo un'adattazione a basso rango per un'adattamento efficace quando è richiesta la conoscenza uditiva. I nostri esperimenti dimostrano che AudioBERT è piuttosto efficace, ottenendo prestazioni superiori sull'AuditoryBench. Il set di dati e il codice sono disponibili su https://github.com/HJ-Ok/AudioBERT.

English

Recent studies have identified that language models, pretrained on text-only datasets, often lack elementary visual knowledge, e.g., colors of everyday objects. Motivated by this observation, we ask whether a similar shortcoming exists in terms of the auditory knowledge. To answer this question, we construct a new dataset called AuditoryBench, which consists of two novel tasks for evaluating auditory knowledge. Based on our analysis using the benchmark, we find that language models also suffer from a severe lack of auditory knowledge. To address this limitation, we propose AudioBERT, a novel method to augment the auditory knowledge of BERT through a retrieval-based approach. First, we detect auditory knowledge spans in prompts to query our retrieval model efficiently. Then, we inject audio knowledge into BERT and switch on low-rank adaptation for effective adaptation when audio knowledge is required. Our experiments demonstrate that AudioBERT is quite effective, achieving superior performance on the AuditoryBench. The dataset and code are available at https://github.com/HJ-Ok/AudioBERT.