FinAudio: 金融アプリケーションにおける音声大規模言語モデルのベンチマーク

FinAudio: A Benchmark for Audio Large Language Models in Financial Applications

March 26, 2025

著者: Yupeng Cao, Haohang Li, Yangyang Yu, Shashidhar Reddy Javaji, Yueru He, Jimin Huang, Zining Zhu, Qianqian Xie, Xiao-yang Liu, Koduvayur Subbalakshmi, Meikang Qiu, Sophia Ananiadou, Jian-Yun Nie

cs.AI

要旨

オーディオ大規模言語モデル（AudioLLMs）は広く注目を集めており、会話、オーディオ理解、自動音声認識（ASR）などの音声タスクにおいて性能が大幅に向上しています。しかし、これらの進歩にもかかわらず、決算説明会やCEOスピーチなどの音声データが財務分析や投資判断において重要なリソースとなる金融シナリオにおいて、AudioLLMsを評価するためのベンチマークが存在しません。本論文では、金融領域におけるAudioLLMsの能力を評価するための最初のベンチマークであるFinAudioを紹介します。まず、金融領域の特性に基づいて3つのタスクを定義します：1）短い金融オーディオのASR、2）長い金融オーディオのASR、3）長い金融オーディオの要約。次に、それぞれ2つの短いオーディオデータセットと2つの長いオーディオデータセットをキュレーションし、FinAudioベンチマークを構成する金融オーディオ要約のための新しいデータセットを開発します。その後、7つの主要なAudioLLMsをFinAudioで評価します。評価結果から、既存のAudioLLMsが金融領域において持つ限界が明らかになり、AudioLLMsの改善に向けた洞察が得られます。すべてのデータセットとコードは公開されます。

English

Audio Large Language Models (AudioLLMs) have received widespread attention and have significantly improved performance on audio tasks such as conversation, audio understanding, and automatic speech recognition (ASR). Despite these advancements, there is an absence of a benchmark for assessing AudioLLMs in financial scenarios, where audio data, such as earnings conference calls and CEO speeches, are crucial resources for financial analysis and investment decisions. In this paper, we introduce FinAudio, the first benchmark designed to evaluate the capacity of AudioLLMs in the financial domain. We first define three tasks based on the unique characteristics of the financial domain: 1) ASR for short financial audio, 2) ASR for long financial audio, and 3) summarization of long financial audio. Then, we curate two short and two long audio datasets, respectively, and develop a novel dataset for financial audio summarization, comprising the FinAudio benchmark. Then, we evaluate seven prevalent AudioLLMs on FinAudio. Our evaluation reveals the limitations of existing AudioLLMs in the financial domain and offers insights for improving AudioLLMs. All datasets and codes will be released.