ReCLAP: Verbesserung der Null-Schuss-Audioklassifikation durch Beschreibung von Geräuschen

ReCLAP: Improving Zero Shot Audio Classification by Describing Sounds

September 13, 2024

Autoren: Sreyan Ghosh, Sonal Kumar, Chandra Kiran Reddy Evuru, Oriol Nieto, Ramani Duraiswami, Dinesh Manocha

cs.AI

Zusammenfassung

Open-Vokabular-Audio-Sprachmodelle wie CLAP bieten einen vielversprechenden Ansatz für die Zero-Shot-Audio-Klassifizierung (ZSAC), indem sie Klassifizierung mit beliebigen Satz von Kategorien ermöglichen, die mit natürlichsprachlichen Anweisungen spezifiziert sind. In diesem Paper schlagen wir eine einfache, aber effektive Methode vor, um ZSAC mit CLAP zu verbessern. Konkret wechseln wir von der herkömmlichen Methode, die Anweisungen mit abstrakten Kategorielabels verwendet (z.B. Klang einer Orgel), zu Anweisungen, die Klänge mithilfe ihrer inhärenten beschreibenden Merkmale in einem vielfältigen Kontext beschreiben (z.B. Die tiefen und resonanten Töne der Orgel erfüllten das Kathedraleninnere). Um dies zu erreichen, schlagen wir zunächst ReCLAP vor, ein CLAP-Modell, das mit umgeschriebenen Audio-Untertiteln trainiert wurde, um das Verständnis von Klängen in freier Wildbahn zu verbessern. Diese umgeschriebenen Untertitel beschreiben jedes Klangereignis im Originaluntertitel mithilfe seiner einzigartigen diskriminierenden Merkmale. ReCLAP übertrifft alle Basislinien sowohl bei der multimodalen Audio-Text-Retrieval als auch bei ZSAC. Als nächstes schlagen wir zur Verbesserung der Zero-Shot-Audio-Klassifizierung mit ReCLAP die Prompt-Aufstockung vor. Im Gegensatz zur traditionellen Methode, bei der vorgefertigte Vorlagenanweisungen verwendet werden, generieren wir benutzerdefinierte Anweisungen für jedes einzigartige Label im Datensatz. Diese benutzerdefinierten Anweisungen beschreiben zunächst das Klangereignis im Label und setzen sie dann in verschiedenen Szenen ein. Unsere vorgeschlagene Methode verbessert die Leistung von ReCLAP bei ZSAC um 1%-18% und übertrifft alle Basislinien um 1% - 55%.

English

Open-vocabulary audio-language models, like CLAP, offer a promising approach for zero-shot audio classification (ZSAC) by enabling classification with any arbitrary set of categories specified with natural language prompts. In this paper, we propose a simple but effective method to improve ZSAC with CLAP. Specifically, we shift from the conventional method of using prompts with abstract category labels (e.g., Sound of an organ) to prompts that describe sounds using their inherent descriptive features in a diverse context (e.g.,The organ's deep and resonant tones filled the cathedral.). To achieve this, we first propose ReCLAP, a CLAP model trained with rewritten audio captions for improved understanding of sounds in the wild. These rewritten captions describe each sound event in the original caption using their unique discriminative characteristics. ReCLAP outperforms all baselines on both multi-modal audio-text retrieval and ZSAC. Next, to improve zero-shot audio classification with ReCLAP, we propose prompt augmentation. In contrast to the traditional method of employing hand-written template prompts, we generate custom prompts for each unique label in the dataset. These custom prompts first describe the sound event in the label and then employ them in diverse scenes. Our proposed method improves ReCLAP's performance on ZSAC by 1%-18% and outperforms all baselines by 1% - 55%.