AudioBERT: Audio-gestütztes Wissens-erweitertes Sprachmodell

AudioBERT: Audio Knowledge Augmented Language Model

September 12, 2024

Autoren: Hyunjong Ok, Suho Yoo, Jaeho Lee

cs.AI

Zusammenfassung

Neueste Studien haben festgestellt, dass Sprachmodelle, die auf reinen Textdatensätzen vortrainiert sind, oft elementares visuelles Wissen, z. B. die Farben alltäglicher Objekte, vermissen lassen. Angespornt durch diese Beobachtung, stellen wir die Frage, ob ein ähnlicher Mangel in Bezug auf auditives Wissen besteht. Um diese Frage zu beantworten, haben wir einen neuen Datensatz namens AuditoryBench erstellt, der aus zwei neuen Aufgaben zur Bewertung auditiven Wissens besteht. Basierend auf unserer Analyse mit dem Benchmark stellen wir fest, dass Sprachmodelle auch unter einem schwerwiegenden Mangel an auditivem Wissen leiden. Um diese Einschränkung zu beheben, schlagen wir AudioBERT vor, eine neuartige Methode zur Erweiterung des auditiven Wissens von BERT durch einen auf Abruf basierenden Ansatz. Zunächst erkennen wir auditive Wissensbereiche in Anfragen, um unser Abrufmodell effizient abzufragen. Anschließend injizieren wir Audio-Wissen in BERT und aktivieren eine Anpassung mit niedrigem Rang für eine effektive Anpassung, wenn Audio-Wissen benötigt wird. Unsere Experimente zeigen, dass AudioBERT sehr effektiv ist und eine überlegene Leistung auf der AuditoryBench erzielt. Der Datensatz und der Code sind verfügbar unter https://github.com/HJ-Ok/AudioBERT.

English

Recent studies have identified that language models, pretrained on text-only datasets, often lack elementary visual knowledge, e.g., colors of everyday objects. Motivated by this observation, we ask whether a similar shortcoming exists in terms of the auditory knowledge. To answer this question, we construct a new dataset called AuditoryBench, which consists of two novel tasks for evaluating auditory knowledge. Based on our analysis using the benchmark, we find that language models also suffer from a severe lack of auditory knowledge. To address this limitation, we propose AudioBERT, a novel method to augment the auditory knowledge of BERT through a retrieval-based approach. First, we detect auditory knowledge spans in prompts to query our retrieval model efficiently. Then, we inject audio knowledge into BERT and switch on low-rank adaptation for effective adaptation when audio knowledge is required. Our experiments demonstrate that AudioBERT is quite effective, achieving superior performance on the AuditoryBench. The dataset and code are available at https://github.com/HJ-Ok/AudioBERT.