FinAudio: Бенчмарк для крупных языковых моделей обработки аудио в финансовых приложениях

FinAudio: A Benchmark for Audio Large Language Models in Financial Applications

March 26, 2025

Авторы: Yupeng Cao, Haohang Li, Yangyang Yu, Shashidhar Reddy Javaji, Yueru He, Jimin Huang, Zining Zhu, Qianqian Xie, Xiao-yang Liu, Koduvayur Subbalakshmi, Meikang Qiu, Sophia Ananiadou, Jian-Yun Nie

cs.AI

Аннотация

Аудио-ориентированные большие языковые модели (AudioLLMs) получили широкое внимание и значительно улучшили производительность в задачах, связанных с аудио, таких как диалоги, понимание аудио и автоматическое распознавание речи (ASR). Несмотря на эти достижения, отсутствует эталонный тест для оценки AudioLLMs в финансовых сценариях, где аудиоданные, такие как конференц-звонки о финансовых результатах и выступления генеральных директоров, являются важными ресурсами для финансового анализа и инвестиционных решений. В данной статье мы представляем FinAudio — первый эталонный тест, разработанный для оценки возможностей AudioLLMs в финансовой области. Сначала мы определяем три задачи, основанные на уникальных характеристиках финансовой сферы: 1) ASR для коротких финансовых аудиозаписей, 2) ASR для длинных финансовых аудиозаписей и 3) суммаризация длинных финансовых аудиозаписей. Затем мы создаем два набора данных для коротких и два для длинных аудиозаписей, а также разрабатываем новый набор данных для суммаризации финансовых аудиозаписей, составляющих эталонный тест FinAudio. Далее мы оцениваем семь популярных AudioLLMs на FinAudio. Наша оценка выявляет ограничения существующих AudioLLMs в финансовой области и предлагает рекомендации для их улучшения. Все наборы данных и коды будут опубликованы.

English

Audio Large Language Models (AudioLLMs) have received widespread attention and have significantly improved performance on audio tasks such as conversation, audio understanding, and automatic speech recognition (ASR). Despite these advancements, there is an absence of a benchmark for assessing AudioLLMs in financial scenarios, where audio data, such as earnings conference calls and CEO speeches, are crucial resources for financial analysis and investment decisions. In this paper, we introduce FinAudio, the first benchmark designed to evaluate the capacity of AudioLLMs in the financial domain. We first define three tasks based on the unique characteristics of the financial domain: 1) ASR for short financial audio, 2) ASR for long financial audio, and 3) summarization of long financial audio. Then, we curate two short and two long audio datasets, respectively, and develop a novel dataset for financial audio summarization, comprising the FinAudio benchmark. Then, we evaluate seven prevalent AudioLLMs on FinAudio. Our evaluation reveals the limitations of existing AudioLLMs in the financial domain and offers insights for improving AudioLLMs. All datasets and codes will be released.