Audio Flamingo: Инновационная аудио-языковая модель с возможностями обучения с малым количеством примеров и поддержкой диалогов

Audio Flamingo: A Novel Audio Language Model with Few-Shot Learning and Dialogue Abilities

February 2, 2024

Авторы: Zhifeng Kong, Arushi Goel, Rohan Badlani, Wei Ping, Rafael Valle, Bryan Catanzaro

cs.AI

Аннотация

Расширение возможностей крупных языковых моделей (LLM) для понимания аудио — включая неречевые звуки и невербальную речь — имеет критически важное значение для разнообразных практических применений LLM. В данной статье мы представляем Audio Flamingo, новую аудио-языковую модель, обладающую: 1) мощными способностями к пониманию аудио, 2) возможностью быстрой адаптации к новым задачам с помощью обучения в контексте и извлечения данных, а также 3) развитыми способностями к многоходовому диалогу. Мы предлагаем ряд методов обучения, архитектурных решений и стратегий работы с данными, которые усиливают нашу модель в этих аспектах. Обширные оценки на различных задачах понимания аудио подтверждают эффективность нашего подхода, устанавливая новые эталонные показатели в данной области.

English

Augmenting large language models (LLMs) to understand audio -- including non-speech sounds and non-verbal speech -- is critically important for diverse real-world applications of LLMs. In this paper, we propose Audio Flamingo, a novel audio language model with 1) strong audio understanding abilities, 2) the ability to quickly adapt to unseen tasks via in-context learning and retrieval, and 3) strong multi-turn dialogue abilities. We introduce a series of training techniques, architecture design, and data strategies to enhance our model with these abilities. Extensive evaluations across various audio understanding tasks confirm the efficacy of our method, setting new state-of-the-art benchmarks.