AudioBERT: Modelo de Linguagem Aumentada com Conhecimento de Áudio

AudioBERT: Audio Knowledge Augmented Language Model

September 12, 2024

Autores: Hyunjong Ok, Suho Yoo, Jaeho Lee

cs.AI

Resumo

Estudos recentes identificaram que os modelos de linguagem, pré-treinados em conjuntos de dados apenas de texto, frequentemente carecem de conhecimento visual elementar, por exemplo, as cores de objetos do cotidiano. Motivados por essa observação, questionamos se uma deficiência semelhante existe em termos de conhecimento auditivo. Para responder a essa pergunta, construímos um novo conjunto de dados chamado AuditoryBench, que consiste em duas tarefas inovadoras para avaliar o conhecimento auditivo. Com base em nossa análise usando o benchmark, descobrimos que os modelos de linguagem também sofrem de uma grave falta de conhecimento auditivo. Para lidar com essa limitação, propomos o AudioBERT, um método inovador para aumentar o conhecimento auditivo do BERT por meio de uma abordagem baseada em recuperação. Primeiramente, detectamos trechos de conhecimento auditivo nas instruções para consultar eficientemente nosso modelo de recuperação. Em seguida, injetamos conhecimento auditivo no BERT e ativamos a adaptação de baixa classificação para uma adaptação eficaz quando o conhecimento auditivo é necessário. Nossos experimentos demonstram que o AudioBERT é bastante eficaz, alcançando um desempenho superior no AuditoryBench. O conjunto de dados e o código estão disponíveis em https://github.com/HJ-Ok/AudioBERT.

English

Recent studies have identified that language models, pretrained on text-only datasets, often lack elementary visual knowledge, e.g., colors of everyday objects. Motivated by this observation, we ask whether a similar shortcoming exists in terms of the auditory knowledge. To answer this question, we construct a new dataset called AuditoryBench, which consists of two novel tasks for evaluating auditory knowledge. Based on our analysis using the benchmark, we find that language models also suffer from a severe lack of auditory knowledge. To address this limitation, we propose AudioBERT, a novel method to augment the auditory knowledge of BERT through a retrieval-based approach. First, we detect auditory knowledge spans in prompts to query our retrieval model efficiently. Then, we inject audio knowledge into BERT and switch on low-rank adaptation for effective adaptation when audio knowledge is required. Our experiments demonstrate that AudioBERT is quite effective, achieving superior performance on the AuditoryBench. The dataset and code are available at https://github.com/HJ-Ok/AudioBERT.