Audio Flamingo 2: Un Modello Audio-Linguistico con Comprensione di Audio Lunghi e Capacità di Ragionamento Esperto

Audio Flamingo 2: An Audio-Language Model with Long-Audio Understanding and Expert Reasoning Abilities

March 6, 2025

Autori: Sreyan Ghosh, Zhifeng Kong, Sonal Kumar, S Sakshi, Jaehyeon Kim, Wei Ping, Rafael Valle, Dinesh Manocha, Bryan Catanzaro

cs.AI

Abstract

Comprendere e ragionare su suoni non vocali e musica è fondamentale sia per gli esseri umani che per gli agenti di intelligenza artificiale per interagire efficacemente con il loro ambiente. In questo articolo, presentiamo Audio Flamingo 2 (AF2), un modello audio-linguistico (ALM) con capacità avanzate di comprensione e ragionamento audio. AF2 sfrutta (i) un modello CLAP personalizzato, (ii) dati sintetici di domande e risposte audio per un ragionamento audio dettagliato, e (iii) una strategia di apprendimento curriculare a più fasi. AF2 raggiunge prestazioni all'avanguardia con un modello linguistico piccolo di soli 3B parametri, superando modelli open-source e proprietari di grandi dimensioni in oltre 20 benchmark. Successivamente, per la prima volta, estendiamo la comprensione audio a segmenti audio lunghi (da 30 secondi a 5 minuti) e proponiamo LongAudio, un ampio e innovativo dataset per l'addestramento di ALM su compiti di descrizione e domande e risposte su audio lunghi. Il fine-tuning di AF2 su LongAudio porta a prestazioni eccezionali sul nostro LongAudioBench, un benchmark annotato da esperti per valutare le capacità di comprensione audio lunga degli ALM. Conduttiamo ampi studi di ablazione per confermare l'efficacia del nostro approccio. Sito web del progetto: https://research.nvidia.com/labs/adlr/AF2/.

English

Understanding and reasoning over non-speech sounds and music are crucial for both humans and AI agents to interact effectively with their environments. In this paper, we introduce Audio Flamingo 2 (AF2), an Audio-Language Model (ALM) with advanced audio understanding and reasoning capabilities. AF2 leverages (i) a custom CLAP model, (ii) synthetic Audio QA data for fine-grained audio reasoning, and (iii) a multi-stage curriculum learning strategy. AF2 achieves state-of-the-art performance with only a 3B parameter small language model, surpassing large open-source and proprietary models across over 20 benchmarks. Next, for the first time, we extend audio understanding to long audio segments (30 secs to 5 mins) and propose LongAudio, a large and novel dataset for training ALMs on long audio captioning and question-answering tasks. Fine-tuning AF2 on LongAudio leads to exceptional performance on our proposed LongAudioBench, an expert annotated benchmark for evaluating ALMs on long audio understanding capabilities. We conduct extensive ablation studies to confirm the efficacy of our approach. Project Website: https://research.nvidia.com/labs/adlr/AF2/.