CLAIR-A: Aproveitando Modelos de Linguagem Grandes para Avaliar Legendas de Áudio

CLAIR-A: Leveraging Large Language Models to Judge Audio Captions

September 19, 2024

Autores: Tsung-Han Wu, Joseph E. Gonzalez, Trevor Darrell, David M. Chan

cs.AI

Resumo

A tarefa de Legendagem Automática de Áudio (AAC) solicita que os modelos gerem descrições em linguagem natural de uma entrada de áudio. Avaliar essas legendas de áudio geradas por máquina é uma tarefa complexa que requer considerar diversos fatores, entre eles, compreensão de cena auditiva, inferência de objetos sonoros, coerência temporal e contexto ambiental da cena. Enquanto os métodos atuais se concentram em aspectos específicos, frequentemente falham em fornecer uma pontuação geral que se alinhe bem com o julgamento humano. Neste trabalho, propomos CLAIR-A, um método simples e flexível que aproveita as capacidades de zero-shot dos grandes modelos de linguagem (LLMs) para avaliar legendas de áudio candidatas, solicitando diretamente aos LLMs uma pontuação de distância semântica. Em nossas avaliações, CLAIR-A prevê melhor os julgamentos humanos de qualidade em comparação com métricas tradicionais, com uma melhoria de precisão relativa de 5,8% em relação à métrica FENSE específica do domínio e de até 11% em relação à melhor medida de propósito geral no conjunto de dados Clotho-Eval. Além disso, CLAIR-A oferece mais transparência ao permitir que o modelo de linguagem explique o raciocínio por trás de suas pontuações, sendo essas explicações avaliadas em até 30% melhor por avaliadores humanos do que aquelas fornecidas por métodos de referência. CLAIR-A está disponível publicamente em https://github.com/DavidMChan/clair-a.

English

The Automated Audio Captioning (AAC) task asks models to generate natural language descriptions of an audio input. Evaluating these machine-generated audio captions is a complex task that requires considering diverse factors, among them, auditory scene understanding, sound-object inference, temporal coherence, and the environmental context of the scene. While current methods focus on specific aspects, they often fail to provide an overall score that aligns well with human judgment. In this work, we propose CLAIR-A, a simple and flexible method that leverages the zero-shot capabilities of large language models (LLMs) to evaluate candidate audio captions by directly asking LLMs for a semantic distance score. In our evaluations, CLAIR-A better predicts human judgements of quality compared to traditional metrics, with a 5.8% relative accuracy improvement compared to the domain-specific FENSE metric and up to 11% over the best general-purpose measure on the Clotho-Eval dataset. Moreover, CLAIR-A offers more transparency by allowing the language model to explain the reasoning behind its scores, with these explanations rated up to 30% better by human evaluators than those provided by baseline methods. CLAIR-A is made publicly available at https://github.com/DavidMChan/clair-a.