CLAIR-A: Nutzung großer Sprachmodelle zur Bewertung von Audio-Untertiteln

CLAIR-A: Leveraging Large Language Models to Judge Audio Captions

September 19, 2024

Autoren: Tsung-Han Wu, Joseph E. Gonzalez, Trevor Darrell, David M. Chan

cs.AI

Zusammenfassung

Die automatisierte Audio-Beschriftungsaufgabe (AAC) fordert Modelle auf, natürlichsprachliche Beschreibungen eines Audioeingangs zu generieren. Die Bewertung dieser maschinengenerierten Audio-Beschriftungen ist eine komplexe Aufgabe, die das Berücksichtigen verschiedener Faktoren erfordert, darunter das Verständnis der auditiven Szene, die Inferenz von Klangobjekten, die zeitliche Kohärenz und der Umgebungskontext der Szene. Während aktuelle Methoden sich auf spezifische Aspekte konzentrieren, gelingt es ihnen oft nicht, eine Gesamtbewertung bereitzustellen, die gut mit menschlichem Urteil übereinstimmt. In dieser Arbeit schlagen wir CLAIR-A vor, eine einfache und flexible Methode, die die Null-Schuss-Fähigkeiten großer Sprachmodelle (LLMs) nutzt, um Kandidaten-Audio-Beschriftungen zu bewerten, indem sie LLMs direkt nach einem semantischen Distanzwert fragt. In unseren Bewertungen sagt CLAIR-A die menschlichen Qualitätsurteile besser voraus im Vergleich zu traditionellen Metriken, mit einer relativen Genauigkeitsverbesserung von 5,8% im Vergleich zur domänenspezifischen FENSE-Metrik und bis zu 11% über dem besten allgemeinen Maß auf dem Clotho-Eval-Datensatz. Darüber hinaus bietet CLAIR-A mehr Transparenz, indem es dem Sprachmodell ermöglicht, die Begründung hinter seinen Bewertungen zu erklären, wobei diese Erklärungen von menschlichen Evaluatoren um bis zu 30% besser bewertet werden als die von Basismethoden bereitgestellten. CLAIR-A ist öffentlich verfügbar unter https://github.com/DavidMChan/clair-a.

English

The Automated Audio Captioning (AAC) task asks models to generate natural language descriptions of an audio input. Evaluating these machine-generated audio captions is a complex task that requires considering diverse factors, among them, auditory scene understanding, sound-object inference, temporal coherence, and the environmental context of the scene. While current methods focus on specific aspects, they often fail to provide an overall score that aligns well with human judgment. In this work, we propose CLAIR-A, a simple and flexible method that leverages the zero-shot capabilities of large language models (LLMs) to evaluate candidate audio captions by directly asking LLMs for a semantic distance score. In our evaluations, CLAIR-A better predicts human judgements of quality compared to traditional metrics, with a 5.8% relative accuracy improvement compared to the domain-specific FENSE metric and up to 11% over the best general-purpose measure on the Clotho-Eval dataset. Moreover, CLAIR-A offers more transparency by allowing the language model to explain the reasoning behind its scores, with these explanations rated up to 30% better by human evaluators than those provided by baseline methods. CLAIR-A is made publicly available at https://github.com/DavidMChan/clair-a.