Audio Flamingo 2: 長音声理解と専門的推論能力を備えた音声-言語モデル

要旨

非音声の音や音楽を理解し、推論することは、人間とAIエージェントが環境と効果的に相互作用するために重要です。本論文では、高度な音声理解と推論能力を備えたAudio-Language Model（ALM）であるAudio Flamingo 2（AF2）を紹介します。AF2は、(i) カスタムCLAPモデル、(ii) 細粒度の音声推論のための合成音声QAデータ、(iii) 多段階のカリキュラム学習戦略を活用しています。AF2は、わずか3Bパラメータの小型言語モデルでありながら、20以上のベンチマークで大規模なオープンソースおよびプロプライエタリモデルを凌駕する最先端の性能を達成しています。次に、初めて音声理解を長時間音声セグメント（30秒から5分）に拡張し、長時間音声キャプショニングと質問応答タスクのための大規模で新しいデータセットであるLongAudioを提案します。LongAudioでAF2をファインチューニングすることで、長時間音声理解能力を評価するための専門家による注釈付きベンチマークであるLongAudioBenchで卓越した性能を発揮します。我々のアプローチの有効性を確認するために、広範なアブレーション研究を実施しています。プロジェクトウェブサイト: https://research.nvidia.com/labs/adlr/AF2/。

English

Understanding and reasoning over non-speech sounds and music are crucial for both humans and AI agents to interact effectively with their environments. In this paper, we introduce Audio Flamingo 2 (AF2), an Audio-Language Model (ALM) with advanced audio understanding and reasoning capabilities. AF2 leverages (i) a custom CLAP model, (ii) synthetic Audio QA data for fine-grained audio reasoning, and (iii) a multi-stage curriculum learning strategy. AF2 achieves state-of-the-art performance with only a 3B parameter small language model, surpassing large open-source and proprietary models across over 20 benchmarks. Next, for the first time, we extend audio understanding to long audio segments (30 secs to 5 mins) and propose LongAudio, a large and novel dataset for training ALMs on long audio captioning and question-answering tasks. Fine-tuning AF2 on LongAudio leads to exceptional performance on our proposed LongAudioBench, an expert annotated benchmark for evaluating ALMs on long audio understanding capabilities. We conduct extensive ablation studies to confirm the efficacy of our approach. Project Website: https://research.nvidia.com/labs/adlr/AF2/.

Audio Flamingo 2: 長音声理解と専門的推論能力を備えた音声-言語モデル

Audio Flamingo 2: An Audio-Language Model with Long-Audio Understanding and Expert Reasoning Abilities

要旨

Summary

Support

Support