UniAudio: Ein Audio-Foundation-Modell für universelle Audio-Generierung
UniAudio: An Audio Foundation Model Toward Universal Audio Generation
October 1, 2023
papers.authors: Dongchao Yang, Jinchuan Tian, Xu Tan, Rongjie Huang, Songxiang Liu, Xuankai Chang, Jiatong Shi, Sheng Zhao, Jiang Bian, Xixin Wu, Zhou Zhao, Helen Meng
cs.AI
papers.abstract
Sprachmodelle (LMs) haben gezeigt, dass sie in der Lage sind, eine Vielzahl von generativen Aufgaben zu bewältigen. Dieses Artikel stellt das UniAudio-System vor, das im Gegensatz zu früheren aufgabenspezifischen Ansätzen LM-Techniken nutzt, um verschiedene Arten von Audio (einschließlich Sprache, Geräusche, Musik und Gesang) mit gegebenen Eingabebedingungen zu generieren. UniAudio 1) tokenisiert zunächst alle Arten von Ziel-Audio zusammen mit anderen Bedingungsmodalitäten, 2) verkettet Quell-Ziel-Paare zu einer einzigen Sequenz und 3) führt eine Next-Token-Vorhersage mithilfe von LMs durch. Zudem wird ein Multi-Scale-Transformer-Modell vorgeschlagen, um die übermäßig langen Sequenzen zu bewältigen, die durch den auf residualer Vektorquantisierung basierenden neuronalen Codec bei der Tokenisierung verursacht werden. Das Training von UniAudio wird auf 165.000 Stunden Audio und 1 Milliarde Parameter skaliert, basierend auf allen generativen Aufgaben, mit dem Ziel, ausreichend Vorwissen nicht nur über die intrinsischen Eigenschaften von Audio, sondern auch über die Zusammenhänge zwischen Audio und anderen Modalitäten zu erlangen. Daher hat das trainierte UniAudio-Modell das Potenzial, ein Grundlagenmodell für universelle Audioerzeugung zu werden: Es zeigt starke Fähigkeiten in allen trainierten Aufgaben und kann nahtlos neue Audioerzeugungsaufgaben nach einfachem Fine-Tuning unterstützen. Experimente zeigen, dass UniAudio bei den meisten der 11 Aufgaben state-of-the-art oder zumindest wettbewerbsfähige Ergebnisse erzielt. Demo und Code sind unter https://github.com/yangdongchao/UniAudio verfügbar.
English
Language models (LMs) have demonstrated the capability to handle a variety of
generative tasks. This paper presents the UniAudio system, which, unlike prior
task-specific approaches, leverages LMs techniques to generate multiple types
of audio (including speech, sounds, music, and singing) with given input
conditions. UniAudio 1) first tokenizes all types of target audio along with
other condition modalities, 2) concatenates source-target pair as a single
sequence, and 3) performs next-token prediction using LMs. Also, a multi-scale
Transformer model is proposed to handle the overly long sequences caused by the
residual vector quantization based neural codec in tokenization. Training of
UniAudio is scaled up to 165K hours of audio and 1B parameters, based on all
generative tasks, aiming to obtain sufficient prior knowledge not only in the
intrinsic properties of audio but also the inter-relationship between audio and
other modalities. Therefore, the trained UniAudio model has the potential to
become a foundation model for universal audio generation: it shows strong
capability in all trained tasks and can seamlessly support new audio generation
tasks after simple fine-tuning. Experiments demonstrate that UniAudio achieves
state-of-the-art or at least competitive results on most of the 11 tasks. Demo
and code are released at https://github.com/yangdongchao/UniAudio