ReCLAP : Amélioration de la classification audio sans étiquette en décrivant les sons

ReCLAP: Improving Zero Shot Audio Classification by Describing Sounds

September 13, 2024

Auteurs: Sreyan Ghosh, Sonal Kumar, Chandra Kiran Reddy Evuru, Oriol Nieto, Ramani Duraiswami, Dinesh Manocha

cs.AI

Résumé

Les modèles audio-langage à vocabulaire ouvert, comme CLAP, offrent une approche prometteuse pour la classification audio sans étiquetage (ZSAC) en permettant la classification avec n'importe quel ensemble arbitraire de catégories spécifiées avec des indications en langage naturel. Dans cet article, nous proposons une méthode simple mais efficace pour améliorer le ZSAC avec CLAP. Plus précisément, nous passons de la méthode conventionnelle qui utilise des indications avec des étiquettes de catégories abstraites (par exemple, Son d'un orgue) à des indications qui décrivent les sons en utilisant leurs caractéristiques descriptives inhérentes dans un contexte diversifié (par exemple, Les tons profonds et résonnants de l'orgue remplissaient la cathédrale). Pour y parvenir, nous proposons d'abord ReCLAP, un modèle CLAP entraîné avec des légendes audio réécrites pour une meilleure compréhension des sons dans la nature. Ces légendes réécrites décrivent chaque événement sonore dans la légende originale en utilisant leurs caractéristiques discriminatives uniques. ReCLAP surpasse toutes les références à la fois en recherche audio-texte multimodale et en ZSAC. Ensuite, pour améliorer la classification audio sans étiquetage avec ReCLAP, nous proposons l'augmentation des indications. Contrairement à la méthode traditionnelle qui utilise des indications de modèle pré-écrites, nous générons des indications personnalisées pour chaque étiquette unique dans l'ensemble de données. Ces indications personnalisées décrivent d'abord l'événement sonore dans l'étiquette, puis les utilisent dans des scènes diverses. Notre méthode proposée améliore les performances de ReCLAP en ZSAC de 1 % à 18 % et surpasse toutes les références de 1 % à 55 %.

English

Open-vocabulary audio-language models, like CLAP, offer a promising approach for zero-shot audio classification (ZSAC) by enabling classification with any arbitrary set of categories specified with natural language prompts. In this paper, we propose a simple but effective method to improve ZSAC with CLAP. Specifically, we shift from the conventional method of using prompts with abstract category labels (e.g., Sound of an organ) to prompts that describe sounds using their inherent descriptive features in a diverse context (e.g.,The organ's deep and resonant tones filled the cathedral.). To achieve this, we first propose ReCLAP, a CLAP model trained with rewritten audio captions for improved understanding of sounds in the wild. These rewritten captions describe each sound event in the original caption using their unique discriminative characteristics. ReCLAP outperforms all baselines on both multi-modal audio-text retrieval and ZSAC. Next, to improve zero-shot audio classification with ReCLAP, we propose prompt augmentation. In contrast to the traditional method of employing hand-written template prompts, we generate custom prompts for each unique label in the dataset. These custom prompts first describe the sound event in the label and then employ them in diverse scenes. Our proposed method improves ReCLAP's performance on ZSAC by 1%-18% and outperforms all baselines by 1% - 55%.