AudioBERT: Audio Kennis Verrijkt Taalmodel

AudioBERT: Audio Knowledge Augmented Language Model

September 12, 2024

Auteurs: Hyunjong Ok, Suho Yoo, Jaeho Lee

cs.AI

Samenvatting

Recente studies hebben vastgesteld dat taalmodellen, vooraf getraind op alleen tekstuele datasets, vaak elementaire visuele kennis missen, bijvoorbeeld de kleuren van alledaagse objecten. Gemotiveerd door deze observatie, vragen we ons af of een soortgelijk tekort bestaat wat betreft auditieve kennis. Om deze vraag te beantwoorden, construeren we een nieuwe dataset genaamd AuditoryBench, die bestaat uit twee nieuwe taken voor het evalueren van auditieve kennis. Op basis van onze analyse met behulp van de benchmark, vinden we dat taalmodellen ook lijden aan een ernstig gebrek aan auditieve kennis. Om deze beperking aan te pakken, stellen we AudioBERT voor, een nieuwe methode om de auditieve kennis van BERT uit te breiden via een opvraaggebaseerde benadering. Eerst detecteren we auditieve kennisgebieden in prompts om ons opvraagmodel efficiënt te bevragen. Vervolgens injecteren we audiokennis in BERT en schakelen we over op lage-rang aanpassing voor effectieve aanpassing wanneer audiokennis vereist is. Onze experimenten tonen aan dat AudioBERT zeer effectief is, met superieure prestaties op de AuditoryBench. De dataset en code zijn beschikbaar op https://github.com/HJ-Ok/AudioBERT.

English

Recent studies have identified that language models, pretrained on text-only datasets, often lack elementary visual knowledge, e.g., colors of everyday objects. Motivated by this observation, we ask whether a similar shortcoming exists in terms of the auditory knowledge. To answer this question, we construct a new dataset called AuditoryBench, which consists of two novel tasks for evaluating auditory knowledge. Based on our analysis using the benchmark, we find that language models also suffer from a severe lack of auditory knowledge. To address this limitation, we propose AudioBERT, a novel method to augment the auditory knowledge of BERT through a retrieval-based approach. First, we detect auditory knowledge spans in prompts to query our retrieval model efficiently. Then, we inject audio knowledge into BERT and switch on low-rank adaptation for effective adaptation when audio knowledge is required. Our experiments demonstrate that AudioBERT is quite effective, achieving superior performance on the AuditoryBench. The dataset and code are available at https://github.com/HJ-Ok/AudioBERT.