Audio Flamingo: Un Modelo de Lenguaje de Audio Innovador con Capacidades de Aprendizaje con Pocos Ejemplos y Diálogo

Audio Flamingo: A Novel Audio Language Model with Few-Shot Learning and Dialogue Abilities

February 2, 2024

Autores: Zhifeng Kong, Arushi Goel, Rohan Badlani, Wei Ping, Rafael Valle, Bryan Catanzaro

cs.AI

Resumen

Mejorar los modelos de lenguaje de gran escala (LLMs) para que comprendan audio —incluyendo sonidos no verbales y habla no verbal— es de crucial importancia para diversas aplicaciones en el mundo real de los LLMs. En este artículo, proponemos Audio Flamingo, un novedoso modelo de lenguaje de audio con 1) una sólida capacidad de comprensión de audio, 2) la habilidad de adaptarse rápidamente a tareas no vistas mediante aprendizaje en contexto y recuperación, y 3) fuertes capacidades de diálogo multiturno. Introducimos una serie de técnicas de entrenamiento, diseño de arquitectura y estrategias de datos para dotar a nuestro modelo de estas habilidades. Evaluaciones exhaustivas en diversas tareas de comprensión de audio confirman la eficacia de nuestro método, estableciendo nuevos puntos de referencia de última generación.

English

Augmenting large language models (LLMs) to understand audio -- including non-speech sounds and non-verbal speech -- is critically important for diverse real-world applications of LLMs. In this paper, we propose Audio Flamingo, a novel audio language model with 1) strong audio understanding abilities, 2) the ability to quickly adapt to unseen tasks via in-context learning and retrieval, and 3) strong multi-turn dialogue abilities. We introduce a series of training techniques, architecture design, and data strategies to enhance our model with these abilities. Extensive evaluations across various audio understanding tasks confirm the efficacy of our method, setting new state-of-the-art benchmarks.