ReCLAP: Melhorando a Classificação de Áudio de Zero Shot Descrevendo Sons

ReCLAP: Improving Zero Shot Audio Classification by Describing Sounds

September 13, 2024

Autores: Sreyan Ghosh, Sonal Kumar, Chandra Kiran Reddy Evuru, Oriol Nieto, Ramani Duraiswami, Dinesh Manocha

cs.AI

Resumo

Modelos de linguagem de áudio de vocabulário aberto, como CLAP, oferecem uma abordagem promissora para classificação de áudio de zero-shot (ZSAC) ao permitir a classificação com qualquer conjunto arbitrário de categorias especificadas com prompts de linguagem natural. Neste artigo, propomos um método simples, porém eficaz, para melhorar o ZSAC com o CLAP. Especificamente, mudamos do método convencional de usar prompts com rótulos de categoria abstratos (por exemplo, Som de um órgão) para prompts que descrevem sons usando suas características descritivas inerentes em um contexto diversificado (por exemplo, Os tons profundos e ressonantes do órgão preencheram a catedral). Para alcançar isso, primeiro propomos o ReCLAP, um modelo CLAP treinado com legendas de áudio reescritas para melhor compreensão de sons na natureza. Essas legendas reescritas descrevem cada evento sonoro na legenda original usando suas características discriminativas únicas. O ReCLAP supera todos os baselines tanto na recuperação de áudio-texto multimodal quanto no ZSAC. Em seguida, para melhorar a classificação de áudio de zero-shot com o ReCLAP, propomos a ampliação de prompts. Ao contrário do método tradicional de empregar prompts de modelo pré-escritos, geramos prompts personalizados para cada rótulo único no conjunto de dados. Esses prompts personalizados descrevem primeiro o evento sonoro no rótulo e depois os empregam em cenas diversas. Nosso método proposto melhora o desempenho do ReCLAP no ZSAC em 1%-18% e supera todos os baselines em 1%-55%.

English

Open-vocabulary audio-language models, like CLAP, offer a promising approach for zero-shot audio classification (ZSAC) by enabling classification with any arbitrary set of categories specified with natural language prompts. In this paper, we propose a simple but effective method to improve ZSAC with CLAP. Specifically, we shift from the conventional method of using prompts with abstract category labels (e.g., Sound of an organ) to prompts that describe sounds using their inherent descriptive features in a diverse context (e.g.,The organ's deep and resonant tones filled the cathedral.). To achieve this, we first propose ReCLAP, a CLAP model trained with rewritten audio captions for improved understanding of sounds in the wild. These rewritten captions describe each sound event in the original caption using their unique discriminative characteristics. ReCLAP outperforms all baselines on both multi-modal audio-text retrieval and ZSAC. Next, to improve zero-shot audio classification with ReCLAP, we propose prompt augmentation. In contrast to the traditional method of employing hand-written template prompts, we generate custom prompts for each unique label in the dataset. These custom prompts first describe the sound event in the label and then employ them in diverse scenes. Our proposed method improves ReCLAP's performance on ZSAC by 1%-18% and outperforms all baselines by 1% - 55%.