ReCLAP: Улучшение классификации аудио без обучения путем описания звуков

ReCLAP: Improving Zero Shot Audio Classification by Describing Sounds

September 13, 2024

Авторы: Sreyan Ghosh, Sonal Kumar, Chandra Kiran Reddy Evuru, Oriol Nieto, Ramani Duraiswami, Dinesh Manocha

cs.AI

Аннотация

Модели аудио-языка с открытым словарем, такие как CLAP, предлагают многообещающий подход для классификации аудио-данных с нулевым обучением (ZSAC), позволяя классифицировать данные с любым произвольным набором категорий, указанным с помощью естественноязыковых подсказок. В данной статье мы предлагаем простой, но эффективный метод улучшения ZSAC с помощью CLAP. Конкретно, мы переходим от традиционного метода использования подсказок с абстрактными метками категорий (например, Звук органа) к подсказкам, описывающим звуки с использованием их врожденных описательных характеристик в различных контекстах (например, Глубокие и резонирующие тона органа наполнили собор). Для достижения этого мы вначале предлагаем ReCLAP, модель CLAP, обученную с переписанными аудио-подписями для улучшения понимания звуков в естественной среде. Эти переписанные подписи описывают каждое звуковое событие в оригинальной подписи, используя их уникальные дискриминирующие характеристики. ReCLAP превосходит все базовые показатели как в мультимодальном поиске аудио-текста, так и в ZSAC. Затем, для улучшения классификации аудио-данных с нулевым обучением с помощью ReCLAP, мы предлагаем увеличение подсказок. В отличие от традиционного метода использования ручных шаблонных подсказок, мы генерируем индивидуальные подсказки для каждой уникальной метки в наборе данных. Эти индивидуальные подсказки сначала описывают звуковое событие в метке, а затем используют их в различных сценах. Наш предложенный метод улучшает производительность ReCLAP в ZSAC на 1%-18% и превосходит все базовые показатели на 1% - 55%.

English

Open-vocabulary audio-language models, like CLAP, offer a promising approach for zero-shot audio classification (ZSAC) by enabling classification with any arbitrary set of categories specified with natural language prompts. In this paper, we propose a simple but effective method to improve ZSAC with CLAP. Specifically, we shift from the conventional method of using prompts with abstract category labels (e.g., Sound of an organ) to prompts that describe sounds using their inherent descriptive features in a diverse context (e.g.,The organ's deep and resonant tones filled the cathedral.). To achieve this, we first propose ReCLAP, a CLAP model trained with rewritten audio captions for improved understanding of sounds in the wild. These rewritten captions describe each sound event in the original caption using their unique discriminative characteristics. ReCLAP outperforms all baselines on both multi-modal audio-text retrieval and ZSAC. Next, to improve zero-shot audio classification with ReCLAP, we propose prompt augmentation. In contrast to the traditional method of employing hand-written template prompts, we generate custom prompts for each unique label in the dataset. These custom prompts first describe the sound event in the label and then employ them in diverse scenes. Our proposed method improves ReCLAP's performance on ZSAC by 1%-18% and outperforms all baselines by 1% - 55%.