AudioBERT: Modelo de Lenguaje Aumentado con Conocimiento de Audio

AudioBERT: Audio Knowledge Augmented Language Model

September 12, 2024

Autores: Hyunjong Ok, Suho Yoo, Jaeho Lee

cs.AI

Resumen

Estudios recientes han identificado que los modelos de lenguaje, preentrenados en conjuntos de datos solo de texto, a menudo carecen de conocimientos visuales elementales, por ejemplo, los colores de objetos cotidianos. Motivados por esta observación, nos preguntamos si existe una deficiencia similar en términos de conocimiento auditivo. Para responder a esta pregunta, construimos un nuevo conjunto de datos llamado AuditoryBench, que consta de dos tareas novedosas para evaluar el conocimiento auditivo. Según nuestro análisis utilizando el banco de pruebas, encontramos que los modelos de lenguaje también sufren de una grave falta de conocimiento auditivo. Para abordar esta limitación, proponemos AudioBERT, un método novedoso para aumentar el conocimiento auditivo de BERT a través de un enfoque basado en recuperación. Primero, detectamos fragmentos de conocimiento auditivo en las indicaciones para consultar eficientemente nuestro modelo de recuperación. Luego, inyectamos conocimiento auditivo en BERT y activamos la adaptación de rango bajo para una adaptación efectiva cuando se requiere conocimiento auditivo. Nuestros experimentos demuestran que AudioBERT es bastante efectivo, logrando un rendimiento superior en AuditoryBench. El conjunto de datos y el código están disponibles en https://github.com/HJ-Ok/AudioBERT.

English

Recent studies have identified that language models, pretrained on text-only datasets, often lack elementary visual knowledge, e.g., colors of everyday objects. Motivated by this observation, we ask whether a similar shortcoming exists in terms of the auditory knowledge. To answer this question, we construct a new dataset called AuditoryBench, which consists of two novel tasks for evaluating auditory knowledge. Based on our analysis using the benchmark, we find that language models also suffer from a severe lack of auditory knowledge. To address this limitation, we propose AudioBERT, a novel method to augment the auditory knowledge of BERT through a retrieval-based approach. First, we detect auditory knowledge spans in prompts to query our retrieval model efficiently. Then, we inject audio knowledge into BERT and switch on low-rank adaptation for effective adaptation when audio knowledge is required. Our experiments demonstrate that AudioBERT is quite effective, achieving superior performance on the AuditoryBench. The dataset and code are available at https://github.com/HJ-Ok/AudioBERT.