Audio Flamingo 3: Vooruitgang in Audio-intelligentie met volledig open grote Audio Taalmodellen

Audio Flamingo 3: Advancing Audio Intelligence with Fully Open Large Audio Language Models

July 10, 2025

Auteurs: Arushi Goel, Sreyan Ghosh, Jaehyeon Kim, Sonal Kumar, Zhifeng Kong, Sang-gil Lee, Chao-Han Huck Yang, Ramani Duraiswami, Dinesh Manocha, Rafael Valle, Bryan Catanzaro

cs.AI

Samenvatting

We presenteren Audio Flamingo 3 (AF3), een volledig open state-of-the-art (SOTA) groot audio-taalmodel dat redeneren en begrip bevordert op het gebied van spraak, geluid en muziek. AF3 introduceert: (i) AF-Whisper, een uniforme audio-encoder die is getraind met een nieuwe strategie voor gezamenlijke representatieleer over alle drie de modaliteiten van spraak, geluid en muziek; (ii) flexibel, op aanvraag denken, waardoor het model keten-van-gedachten-type redeneringen kan uitvoeren voordat het antwoordt; (iii) multi-turn, multi-audio chat; (iv) langdurig audio-begrip en redeneren (inclusief spraak) tot 10 minuten; en (v) stem-naar-stem interactie. Om deze mogelijkheden te realiseren, stellen we verschillende grootschalige trainingsdatasets voor die zijn samengesteld met nieuwe strategieën, waaronder AudioSkills-XL, LongAudio-XL, AF-Think en AF-Chat, en trainen we AF3 met een nieuwe vijf-fasen curriculumgebaseerde trainingsstrategie. Getraind op alleen open-source audio-data, behaalt AF3 nieuwe SOTA-resultaten op meer dan 20+ (lange) audio-begrip en redeneerbenchmarks, en overtreft zowel open-gewicht als closed-source modellen die zijn getraind op veel grotere datasets.

English

We present Audio Flamingo 3 (AF3), a fully open state-of-the-art (SOTA) large audio-language model that advances reasoning and understanding across speech, sound, and music. AF3 introduces: (i) AF-Whisper, a unified audio encoder trained using a novel strategy for joint representation learning across all 3 modalities of speech, sound, and music; (ii) flexible, on-demand thinking, allowing the model to do chain-of-thought-type reasoning before answering; (iii) multi-turn, multi-audio chat; (iv) long audio understanding and reasoning (including speech) up to 10 minutes; and (v) voice-to-voice interaction. To enable these capabilities, we propose several large-scale training datasets curated using novel strategies, including AudioSkills-XL, LongAudio-XL, AF-Think, and AF-Chat, and train AF3 with a novel five-stage curriculum-based training strategy. Trained on only open-source audio data, AF3 achieves new SOTA results on over 20+ (long) audio understanding and reasoning benchmarks, surpassing both open-weight and closed-source models trained on much larger datasets.