Быстрая латентная аудиодиффузия с учетом временных характеристик

Fast Timing-Conditioned Latent Audio Diffusion

February 7, 2024

Авторы: Zach Evans, CJ Carr, Josiah Taylor, Scott H. Hawley, Jordi Pons

cs.AI

Аннотация

Генерация длинных стереоаудиофайлов с частотой дискретизации 44,1 кГц на основе текстовых запросов может быть вычислительно затратной. Кроме того, большинство предыдущих работ не учитывают, что музыка и звуковые эффекты естественным образом варьируются по продолжительности. Наше исследование сосредоточено на эффективной генерации длинных стереомузыкальных композиций и звуков переменной длины с частотой 44,1 кГц с использованием текстовых запросов и генеративной модели. Stable Audio основан на латентной диффузии, где латентное пространство определяется полностью сверточным вариационным автокодировщиком. Модель учитывает текстовые запросы, а также временные эмбеддинги, что позволяет точно контролировать как содержание, так и длину генерируемой музыки и звуков. Stable Audio способен создавать стереосигналы длительностью до 95 секунд с частотой 44,1 кГц всего за 8 секунд на графическом процессоре A100. Несмотря на вычислительную эффективность и быстрый вывод, модель демонстрирует одни из лучших результатов в двух публичных бенчмарках для задач преобразования текста в музыку и аудио и, в отличие от современных моделей, способна генерировать музыку с четкой структурой и стереозвуком.

English

Generating long-form 44.1kHz stereo audio from text prompts can be computationally demanding. Further, most previous works do not tackle that music and sound effects naturally vary in their duration. Our research focuses on the efficient generation of long-form, variable-length stereo music and sounds at 44.1kHz using text prompts with a generative model. Stable Audio is based on latent diffusion, with its latent defined by a fully-convolutional variational autoencoder. It is conditioned on text prompts as well as timing embeddings, allowing for fine control over both the content and length of the generated music and sounds. Stable Audio is capable of rendering stereo signals of up to 95 sec at 44.1kHz in 8 sec on an A100 GPU. Despite its compute efficiency and fast inference, it is one of the best in two public text-to-music and -audio benchmarks and, differently from state-of-the-art models, can generate music with structure and stereo sounds.