CLAIR-A: Sfruttare i Grandi Modelli Linguistici per Valutare le Didascalie Audio

CLAIR-A: Leveraging Large Language Models to Judge Audio Captions

September 19, 2024

Autori: Tsung-Han Wu, Joseph E. Gonzalez, Trevor Darrell, David M. Chan

cs.AI

Abstract

Il compito di Trascrizione Automatica dell'Audio (AAC) richiede ai modelli di generare descrizioni in linguaggio naturale di un input audio. Valutare queste didascalie audio generate dalle macchine è un compito complesso che richiede di considerare diversi fattori, tra cui la comprensione della scena uditiva, l'inferenza sugli oggetti sonori, la coerenza temporale e il contesto ambientale della scena. Mentre i metodi attuali si concentrano su aspetti specifici, spesso non riescono a fornire un punteggio complessivo che si allinei bene con il giudizio umano. In questo lavoro, proponiamo CLAIR-A, un metodo semplice e flessibile che sfrutta le capacità di zero-shot dei grandi modelli linguistici (LLM) per valutare le didascalie audio candidate chiedendo direttamente ai LLM un punteggio di distanza semantica. Nelle nostre valutazioni, CLAIR-A predice meglio i giudizi umani sulla qualità rispetto alle metriche tradizionali, con un miglioramento relativo dell'accuratezza del 5,8% rispetto alla metrica FENSE specifica del dominio e fino al 11% rispetto alla migliore misura ad uso generale nel dataset Clotho-Eval. Inoltre, CLAIR-A offre maggiore trasparenza consentendo al modello linguistico di spiegare il ragionamento dietro i suoi punteggi, con queste spiegazioni valutate fino al 30% meglio dagli esaminatori umani rispetto a quelle fornite dai metodi di base. CLAIR-A è reso pubblicamente disponibile su https://github.com/DavidMChan/clair-a.

English

The Automated Audio Captioning (AAC) task asks models to generate natural language descriptions of an audio input. Evaluating these machine-generated audio captions is a complex task that requires considering diverse factors, among them, auditory scene understanding, sound-object inference, temporal coherence, and the environmental context of the scene. While current methods focus on specific aspects, they often fail to provide an overall score that aligns well with human judgment. In this work, we propose CLAIR-A, a simple and flexible method that leverages the zero-shot capabilities of large language models (LLMs) to evaluate candidate audio captions by directly asking LLMs for a semantic distance score. In our evaluations, CLAIR-A better predicts human judgements of quality compared to traditional metrics, with a 5.8% relative accuracy improvement compared to the domain-specific FENSE metric and up to 11% over the best general-purpose measure on the Clotho-Eval dataset. Moreover, CLAIR-A offers more transparency by allowing the language model to explain the reasoning behind its scores, with these explanations rated up to 30% better by human evaluators than those provided by baseline methods. CLAIR-A is made publicly available at https://github.com/DavidMChan/clair-a.