ReCLAP: Het Verbeteren van Nul Shot Audio Classificatie door Geluiden te Beschrijven

ReCLAP: Improving Zero Shot Audio Classification by Describing Sounds

September 13, 2024

Auteurs: Sreyan Ghosh, Sonal Kumar, Chandra Kiran Reddy Evuru, Oriol Nieto, Ramani Duraiswami, Dinesh Manocha

cs.AI

Samenvatting

Open-vocabulary audio-taalmodellen, zoals CLAP, bieden een veelbelovende benadering voor zero-shot audio-classificatie (ZSAC) door classificatie mogelijk te maken met elke willekeurige set categorieën die zijn gespecificeerd met natuurlijke taal prompts. In dit artikel stellen we een eenvoudige maar effectieve methode voor om ZSAC te verbeteren met CLAP. Specifiek stappen we af van de conventionele methode van het gebruiken van prompts met abstracte categorie labels (bijv. Geluid van een orgel) naar prompts die geluiden beschrijven met hun inherente beschrijvende kenmerken in een diverse context (bijv. De diepe en resonante tonen van het orgel vulden de kathedraal). Om dit te bereiken, stellen we eerst ReCLAP voor, een CLAP-model dat is getraind met herschreven audiobijschriften voor verbeterd begrip van geluiden in het wild. Deze herschreven bijschriften beschrijven elk geluidsevenement in het originele bijschrift met hun unieke onderscheidende kenmerken. ReCLAP presteert beter dan alle baselines op zowel multimodale audio-tekst ophaling als ZSAC. Vervolgens, om zero-shot audio-classificatie te verbeteren met ReCLAP, stellen we prompt-augmentatie voor. In tegenstelling tot de traditionele methode van het gebruiken van handgeschreven sjabloon prompts, genereren we aangepaste prompts voor elk uniek label in de dataset. Deze aangepaste prompts beschrijven eerst het geluidsevenement in het label en gebruiken ze vervolgens in diverse scènes. Onze voorgestelde methode verbetert de prestaties van ReCLAP op ZSAC met 1%-18% en overtreft alle baselines met 1% - 55%.

English

Open-vocabulary audio-language models, like CLAP, offer a promising approach for zero-shot audio classification (ZSAC) by enabling classification with any arbitrary set of categories specified with natural language prompts. In this paper, we propose a simple but effective method to improve ZSAC with CLAP. Specifically, we shift from the conventional method of using prompts with abstract category labels (e.g., Sound of an organ) to prompts that describe sounds using their inherent descriptive features in a diverse context (e.g.,The organ's deep and resonant tones filled the cathedral.). To achieve this, we first propose ReCLAP, a CLAP model trained with rewritten audio captions for improved understanding of sounds in the wild. These rewritten captions describe each sound event in the original caption using their unique discriminative characteristics. ReCLAP outperforms all baselines on both multi-modal audio-text retrieval and ZSAC. Next, to improve zero-shot audio classification with ReCLAP, we propose prompt augmentation. In contrast to the traditional method of employing hand-written template prompts, we generate custom prompts for each unique label in the dataset. These custom prompts first describe the sound event in the label and then employ them in diverse scenes. Our proposed method improves ReCLAP's performance on ZSAC by 1%-18% and outperforms all baselines by 1% - 55%.