ReCLAP: Mejorando la Clasificación de Audio de Cero Disparos Describiendo Sonidos

ReCLAP: Improving Zero Shot Audio Classification by Describing Sounds

September 13, 2024

Autores: Sreyan Ghosh, Sonal Kumar, Chandra Kiran Reddy Evuru, Oriol Nieto, Ramani Duraiswami, Dinesh Manocha

cs.AI

Resumen

Los modelos de lenguaje de audio de vocabulario abierto, como CLAP, ofrecen un enfoque prometedor para la clasificación de audio de cero disparo (ZSAC) al permitir la clasificación con cualquier conjunto arbitrario de categorías especificadas con indicaciones en lenguaje natural. En este artículo, proponemos un método simple pero efectivo para mejorar ZSAC con CLAP. Específicamente, nos alejamos del método convencional de utilizar indicaciones con etiquetas de categoría abstractas (por ejemplo, Sonido de un órgano) a indicaciones que describen sonidos utilizando sus características descriptivas inherentes en un contexto diverso (por ejemplo, Los tonos profundos y resonantes del órgano llenaron la catedral). Para lograr esto, primero proponemos ReCLAP, un modelo CLAP entrenado con leyendas de audio reescritas para una mejor comprensión de los sonidos en entornos naturales. Estas leyendas reescritas describen cada evento de sonido en la leyenda original utilizando sus características discriminativas únicas. ReCLAP supera a todos los puntos de referencia tanto en la recuperación de audio-texto multimodal como en ZSAC. A continuación, para mejorar la clasificación de audio de cero disparo con ReCLAP, proponemos la ampliación de indicaciones. En contraste con el método tradicional de emplear indicaciones de plantilla escritas a mano, generamos indicaciones personalizadas para cada etiqueta única en el conjunto de datos. Estas indicaciones personalizadas describen primero el evento de sonido en la etiqueta y luego los emplean en escenas diversas. Nuestro método propuesto mejora el rendimiento de ReCLAP en ZSAC en un 1%-18% y supera a todos los puntos de referencia en un 1%-55%.

English

Open-vocabulary audio-language models, like CLAP, offer a promising approach for zero-shot audio classification (ZSAC) by enabling classification with any arbitrary set of categories specified with natural language prompts. In this paper, we propose a simple but effective method to improve ZSAC with CLAP. Specifically, we shift from the conventional method of using prompts with abstract category labels (e.g., Sound of an organ) to prompts that describe sounds using their inherent descriptive features in a diverse context (e.g.,The organ's deep and resonant tones filled the cathedral.). To achieve this, we first propose ReCLAP, a CLAP model trained with rewritten audio captions for improved understanding of sounds in the wild. These rewritten captions describe each sound event in the original caption using their unique discriminative characteristics. ReCLAP outperforms all baselines on both multi-modal audio-text retrieval and ZSAC. Next, to improve zero-shot audio classification with ReCLAP, we propose prompt augmentation. In contrast to the traditional method of employing hand-written template prompts, we generate custom prompts for each unique label in the dataset. These custom prompts first describe the sound event in the label and then employ them in diverse scenes. Our proposed method improves ReCLAP's performance on ZSAC by 1%-18% and outperforms all baselines by 1% - 55%.