AudioBERT: Звуковая модель языка с увеличенным объемом знаний.

AudioBERT: Audio Knowledge Augmented Language Model

September 12, 2024

Авторы: Hyunjong Ok, Suho Yoo, Jaeho Lee

cs.AI

Аннотация

Недавние исследования выявили, что языковые модели, предобученные на текстовых наборах данных, часто лишены элементарных знаний о визуальных аспектах, например, цветах повседневных объектов. Будучи вдохновленными этим наблюдением, мы задаемся вопросом о существовании аналогичного недостатка в области звуковых знаний. Для ответа на этот вопрос мы создаем новый набор данных под названием AuditoryBench, который состоит из двух новых задач для оценки звуковых знаний. Исходя из нашего анализа с использованием эталонного набора данных, мы обнаруживаем, что языковые модели также страдают от серьезного недостатка звуковых знаний. Для преодоления этого ограничения мы предлагаем AudioBERT, новый метод для расширения звуковых знаний BERT с помощью подхода на основе извлечения информации. Сначала мы обнаруживаем участки звуковых знаний в запросах для эффективного опроса нашей модели извлечения информации. Затем мы внедряем звуковые знания в BERT и включаем адаптацию низкого ранга для эффективной адаптации при необходимости звуковых знаний. Наши эксперименты показывают, что AudioBERT довольно эффективен, достигая превосходных результатов на AuditoryBench. Набор данных и код доступны по адресу https://github.com/HJ-Ok/AudioBERT.

English

Recent studies have identified that language models, pretrained on text-only datasets, often lack elementary visual knowledge, e.g., colors of everyday objects. Motivated by this observation, we ask whether a similar shortcoming exists in terms of the auditory knowledge. To answer this question, we construct a new dataset called AuditoryBench, which consists of two novel tasks for evaluating auditory knowledge. Based on our analysis using the benchmark, we find that language models also suffer from a severe lack of auditory knowledge. To address this limitation, we propose AudioBERT, a novel method to augment the auditory knowledge of BERT through a retrieval-based approach. First, we detect auditory knowledge spans in prompts to query our retrieval model efficiently. Then, we inject audio knowledge into BERT and switch on low-rank adaptation for effective adaptation when audio knowledge is required. Our experiments demonstrate that AudioBERT is quite effective, achieving superior performance on the AuditoryBench. The dataset and code are available at https://github.com/HJ-Ok/AudioBERT.