CLAIR-A : Exploiter les grands modèles de langage pour évaluer les légendes audio

CLAIR-A: Leveraging Large Language Models to Judge Audio Captions

September 19, 2024

Auteurs: Tsung-Han Wu, Joseph E. Gonzalez, Trevor Darrell, David M. Chan

cs.AI

Résumé

La tâche de sous-titrage automatique audio (AAC) demande aux modèles de générer des descriptions en langage naturel d'une entrée audio. Évaluer ces sous-titres audio générés par machine est une tâche complexe qui nécessite de prendre en compte divers facteurs, parmi lesquels la compréhension de la scène auditive, l'inférence d'objets sonores, la cohérence temporelle et le contexte environnemental de la scène. Alors que les méthodes actuelles se concentrent sur des aspects spécifiques, elles échouent souvent à fournir un score global en accord avec le jugement humain. Dans ce travail, nous proposons CLAIR-A, une méthode simple et flexible qui exploite les capacités de zéro-shot des grands modèles de langage (LLM) pour évaluer les sous-titres audio candidats en demandant directement aux LLM un score de distance sémantique. Dans nos évaluations, CLAIR-A prédit mieux les jugements humains de qualité par rapport aux métriques traditionnelles, avec une amélioration de précision relative de 5,8% par rapport à la métrique FENSE spécifique au domaine et jusqu'à 11% par rapport à la meilleure mesure à usage général sur l'ensemble de données Clotho-Eval. De plus, CLAIR-A offre plus de transparence en permettant au modèle de langage d'expliquer le raisonnement derrière ses scores, ces explications étant évaluées jusqu'à 30% mieux par les évaluateurs humains que celles fournies par les méthodes de base. CLAIR-A est disponible publiquement sur https://github.com/DavidMChan/clair-a.

English

The Automated Audio Captioning (AAC) task asks models to generate natural language descriptions of an audio input. Evaluating these machine-generated audio captions is a complex task that requires considering diverse factors, among them, auditory scene understanding, sound-object inference, temporal coherence, and the environmental context of the scene. While current methods focus on specific aspects, they often fail to provide an overall score that aligns well with human judgment. In this work, we propose CLAIR-A, a simple and flexible method that leverages the zero-shot capabilities of large language models (LLMs) to evaluate candidate audio captions by directly asking LLMs for a semantic distance score. In our evaluations, CLAIR-A better predicts human judgements of quality compared to traditional metrics, with a 5.8% relative accuracy improvement compared to the domain-specific FENSE metric and up to 11% over the best general-purpose measure on the Clotho-Eval dataset. Moreover, CLAIR-A offers more transparency by allowing the language model to explain the reasoning behind its scores, with these explanations rated up to 30% better by human evaluators than those provided by baseline methods. CLAIR-A is made publicly available at https://github.com/DavidMChan/clair-a.