Audio Flamingo 2: Ein Audio-Sprachmodell mit Langzeit-Audio-Verständnis und Experten-Fähigkeiten zur logischen Schlussfolgerung

Audio Flamingo 2: An Audio-Language Model with Long-Audio Understanding and Expert Reasoning Abilities

March 6, 2025

Autoren: Sreyan Ghosh, Zhifeng Kong, Sonal Kumar, S Sakshi, Jaehyeon Kim, Wei Ping, Rafael Valle, Dinesh Manocha, Bryan Catanzaro

cs.AI

Zusammenfassung

Das Verständnis und die Schlussfolgerung über Nicht-Sprach-Geräusche und Musik sind sowohl für Menschen als auch für KI-Agenten entscheidend, um effektiv mit ihrer Umgebung zu interagieren. In diesem Artikel stellen wir Audio Flamingo 2 (AF2) vor, ein Audio-Sprach-Modell (ALM) mit fortgeschrittenen Fähigkeiten zur Audio-Verarbeitung und Schlussfolgerung. AF2 nutzt (i) ein spezielles CLAP-Modell, (ii) synthetische Audio-QA-Daten für detaillierte Audio-Schlussfolgerungen und (iii) eine mehrstufige Curriculum-Learning-Strategie. AF2 erreicht mit einem kleinen Sprachmodell von nur 3B Parametern Spitzenleistungen und übertrifft große Open-Source- und proprietäre Modelle in über 20 Benchmarks. Darüber hinaus erweitern wir erstmals das Audio-Verständnis auf lange Audio-Segmente (30 Sekunden bis 5 Minuten) und stellen LongAudio vor, einen umfangreichen und neuartigen Datensatz für das Training von ALMs in Aufgaben zur langen Audio-Beschreibung und Fragebeantwortung. Das Feinabstimmen von AF2 auf LongAudio führt zu herausragenden Leistungen auf unserem vorgeschlagenen LongAudioBench, einem von Experten annotierten Benchmark zur Bewertung der Fähigkeiten von ALMs im Verständnis langer Audio-Segmente. Wir führen umfangreiche Ablationsstudien durch, um die Wirksamkeit unseres Ansatzes zu bestätigen. Projekt-Website: https://research.nvidia.com/labs/adlr/AF2/.

English

Understanding and reasoning over non-speech sounds and music are crucial for both humans and AI agents to interact effectively with their environments. In this paper, we introduce Audio Flamingo 2 (AF2), an Audio-Language Model (ALM) with advanced audio understanding and reasoning capabilities. AF2 leverages (i) a custom CLAP model, (ii) synthetic Audio QA data for fine-grained audio reasoning, and (iii) a multi-stage curriculum learning strategy. AF2 achieves state-of-the-art performance with only a 3B parameter small language model, surpassing large open-source and proprietary models across over 20 benchmarks. Next, for the first time, we extend audio understanding to long audio segments (30 secs to 5 mins) and propose LongAudio, a large and novel dataset for training ALMs on long audio captioning and question-answering tasks. Fine-tuning AF2 on LongAudio leads to exceptional performance on our proposed LongAudioBench, an expert annotated benchmark for evaluating ALMs on long audio understanding capabilities. We conduct extensive ablation studies to confirm the efficacy of our approach. Project Website: https://research.nvidia.com/labs/adlr/AF2/.