Audio Flamingo: Um Novo Modelo de Linguagem de Áudio com Aprendizado de Poucos Exemplos e Habilidades de Diálogo

Audio Flamingo: A Novel Audio Language Model with Few-Shot Learning and Dialogue Abilities

February 2, 2024

Autores: Zhifeng Kong, Arushi Goel, Rohan Badlani, Wei Ping, Rafael Valle, Bryan Catanzaro

cs.AI

Resumo

Aprimorar grandes modelos de linguagem (LLMs) para compreender áudio — incluindo sons não verbais e fala não verbal — é de extrema importância para diversas aplicações reais desses modelos. Neste artigo, propomos o Audio Flamingo, um novo modelo de linguagem de áudio que apresenta: 1) fortes habilidades de compreensão de áudio, 2) a capacidade de se adaptar rapidamente a tarefas não vistas por meio de aprendizado em contexto e recuperação, e 3) habilidades robustas de diálogo multi-turn. Introduzimos uma série de técnicas de treinamento, design de arquitetura e estratégias de dados para aprimorar nosso modelo com essas capacidades. Avaliações extensas em diversas tarefas de compreensão de áudio confirmam a eficácia do nosso método, estabelecendo novos benchmarks de estado da arte.

English

Augmenting large language models (LLMs) to understand audio -- including non-speech sounds and non-verbal speech -- is critically important for diverse real-world applications of LLMs. In this paper, we propose Audio Flamingo, a novel audio language model with 1) strong audio understanding abilities, 2) the ability to quickly adapt to unseen tasks via in-context learning and retrieval, and 3) strong multi-turn dialogue abilities. We introduce a series of training techniques, architecture design, and data strategies to enhance our model with these abilities. Extensive evaluations across various audio understanding tasks confirm the efficacy of our method, setting new state-of-the-art benchmarks.