Diffusione Latente Audio Condizionata a Tempi Rapidi

Fast Timing-Conditioned Latent Audio Diffusion

February 7, 2024

Autori: Zach Evans, CJ Carr, Josiah Taylor, Scott H. Hawley, Jordi Pons

cs.AI

Abstract

Generare audio stereo a 44,1 kHz di lunga durata a partire da prompt testuali può essere computazionalmente impegnativo. Inoltre, la maggior parte dei lavori precedenti non affronta il fatto che musica ed effetti sonori variano naturalmente nella loro durata. La nostra ricerca si concentra sulla generazione efficiente di musica e suoni stereo a 44,1 kHz di lunga durata e lunghezza variabile utilizzando prompt testuali con un modello generativo. Stable Audio si basa sulla diffusione latente, con il suo spazio latente definito da un autoencoder variazionale completamente convoluzionale. È condizionato da prompt testuali e da embedding temporali, consentendo un controllo preciso sia sul contenuto che sulla lunghezza della musica e dei suoni generati. Stable Audio è in grado di produrre segnali stereo fino a 95 secondi a 44,1 kHz in 8 secondi su una GPU A100. Nonostante la sua efficienza computazionale e l'inferenza veloce, è uno dei migliori in due benchmark pubblici di testo-musica e testo-audio e, a differenza dei modelli all'avanguardia, è in grado di generare musica con struttura e suoni stereo.

English

Generating long-form 44.1kHz stereo audio from text prompts can be computationally demanding. Further, most previous works do not tackle that music and sound effects naturally vary in their duration. Our research focuses on the efficient generation of long-form, variable-length stereo music and sounds at 44.1kHz using text prompts with a generative model. Stable Audio is based on latent diffusion, with its latent defined by a fully-convolutional variational autoencoder. It is conditioned on text prompts as well as timing embeddings, allowing for fine control over both the content and length of the generated music and sounds. Stable Audio is capable of rendering stereo signals of up to 95 sec at 44.1kHz in 8 sec on an A100 GPU. Despite its compute efficiency and fast inference, it is one of the best in two public text-to-music and -audio benchmarks and, differently from state-of-the-art models, can generate music with structure and stereo sounds.