CLAIR-A: Aprovechando Modelos de Lenguaje Grandes para Evaluar Subtítulos de Audio

CLAIR-A: Leveraging Large Language Models to Judge Audio Captions

September 19, 2024

Autores: Tsung-Han Wu, Joseph E. Gonzalez, Trevor Darrell, David M. Chan

cs.AI

Resumen

La tarea de Subtitulado Automático de Audio (SAA) solicita a los modelos generar descripciones en lenguaje natural de una entrada de audio. Evaluar estos subtítulos de audio generados por máquinas es una tarea compleja que requiere considerar diversos factores, entre ellos, la comprensión de escenas auditivas, inferencia de objetos de sonido, coherencia temporal y el contexto ambiental de la escena. Si bien los métodos actuales se centran en aspectos específicos, a menudo no logran proporcionar una puntuación general que se alinee bien con el juicio humano. En este trabajo, proponemos CLAIR-A, un método simple y flexible que aprovecha las capacidades de cero disparo de los grandes modelos de lenguaje (LLMs) para evaluar subtítulos de audio candidatos al preguntar directamente a los LLMs por una puntuación de distancia semántica. En nuestras evaluaciones, CLAIR-A predice mejor los juicios humanos de calidad en comparación con métricas tradicionales, con una mejora de precisión relativa del 5.8% en comparación con la métrica FENSE específica del dominio y hasta un 11% sobre la mejor medida de propósito general en el conjunto de datos Clotho-Eval. Además, CLAIR-A ofrece más transparencia al permitir que el modelo de lenguaje explique el razonamiento detrás de sus puntuaciones, con estas explicaciones valoradas hasta un 30% mejor por evaluadores humanos que las proporcionadas por métodos de referencia. CLAIR-A está disponible públicamente en https://github.com/DavidMChan/clair-a.

English

The Automated Audio Captioning (AAC) task asks models to generate natural language descriptions of an audio input. Evaluating these machine-generated audio captions is a complex task that requires considering diverse factors, among them, auditory scene understanding, sound-object inference, temporal coherence, and the environmental context of the scene. While current methods focus on specific aspects, they often fail to provide an overall score that aligns well with human judgment. In this work, we propose CLAIR-A, a simple and flexible method that leverages the zero-shot capabilities of large language models (LLMs) to evaluate candidate audio captions by directly asking LLMs for a semantic distance score. In our evaluations, CLAIR-A better predicts human judgements of quality compared to traditional metrics, with a 5.8% relative accuracy improvement compared to the domain-specific FENSE metric and up to 11% over the best general-purpose measure on the Clotho-Eval dataset. Moreover, CLAIR-A offers more transparency by allowing the language model to explain the reasoning behind its scores, with these explanations rated up to 30% better by human evaluators than those provided by baseline methods. CLAIR-A is made publicly available at https://github.com/DavidMChan/clair-a.