Audio Flamingo: Ein neuartiges Audio-Sprachmodell mit Few-Shot-Lernfähigkeiten und Dialogkompetenz

Audio Flamingo: A Novel Audio Language Model with Few-Shot Learning and Dialogue Abilities

February 2, 2024

Autoren: Zhifeng Kong, Arushi Goel, Rohan Badlani, Wei Ping, Rafael Valle, Bryan Catanzaro

cs.AI

Zusammenfassung

Die Erweiterung großer Sprachmodelle (LLMs) um das Verständnis von Audio – einschließlich Nicht-Sprach-Geräuschen und nicht-verbaler Sprache – ist von entscheidender Bedeutung für vielfältige reale Anwendungen von LLMs. In diesem Artikel stellen wir Audio Flamingo vor, ein neuartiges Audio-Sprachmodell mit 1) starken Fähigkeiten im Audio-Verständnis, 2) der Fähigkeit, sich schnell über In-Context-Lernen und Retrieval an unbekannte Aufgaben anzupassen, und 3) ausgeprägten Fähigkeiten für mehrschrittige Dialoge. Wir führen eine Reihe von Trainingstechniken, Architekturdesigns und Datenstrategien ein, um unser Modell mit diesen Fähigkeiten zu verbessern. Umfangreiche Evaluierungen über verschiedene Audio-Verständnisaufgaben bestätigen die Wirksamkeit unserer Methode und setzen neue Maßstäbe für den State-of-the-Art.

English

Augmenting large language models (LLMs) to understand audio -- including non-speech sounds and non-verbal speech -- is critically important for diverse real-world applications of LLMs. In this paper, we propose Audio Flamingo, a novel audio language model with 1) strong audio understanding abilities, 2) the ability to quickly adapt to unseen tasks via in-context learning and retrieval, and 3) strong multi-turn dialogue abilities. We introduce a series of training techniques, architecture design, and data strategies to enhance our model with these abilities. Extensive evaluations across various audio understanding tasks confirm the efficacy of our method, setting new state-of-the-art benchmarks.