Amphion: Een Open-Source Toolkit voor Audio-, Muziek- en Spraakgeneratie

Amphion: An Open-Source Audio, Music and Speech Generation Toolkit

December 15, 2023

Auteurs: Xueyao Zhang, Liumeng Xue, Yuancheng Wang, Yicheng Gu, Xi Chen, Zihao Fang, Haopeng Chen, Lexiao Zou, Chaoren Wang, Jun Han, Kai Chen, Haizhou Li, Zhizheng Wu

cs.AI

Samenvatting

Amphion is een toolkit voor Audio-, Muziek- en Spraakgeneratie. Het doel ervan is om reproduceerbaar onderzoek te ondersteunen en junior onderzoekers en ingenieurs te helpen starten in het veld van onderzoek en ontwikkeling op het gebied van audio, muziek en spraakgeneratie. Amphion biedt een unieke functie: visualisaties van klassieke modellen of architecturen. Wij geloven dat deze visualisaties nuttig zijn voor junior onderzoekers en ingenieurs die een beter begrip van het model willen krijgen. Het North-Star-doel van Amphion is om een platform te bieden voor het bestuderen van de omzetting van elke input naar algemene audio. Amphion is ontworpen om individuele generatietaken te ondersteunen. Naast de specifieke generatietaken omvat Amphion ook verschillende vocoders en evaluatiemetrics. Een vocoder is een belangrijke module voor het produceren van hoogwaardige audiosignalen, terwijl evaluatiemetrics cruciaal zijn voor het waarborgen van consistente metrics in generatietaken. In dit artikel geven we een hoogoverzicht van Amphion.

English

Amphion is a toolkit for Audio, Music, and Speech Generation. Its purpose is to support reproducible research and help junior researchers and engineers get started in the field of audio, music, and speech generation research and development. Amphion offers a unique feature: visualizations of classic models or architectures. We believe that these visualizations are beneficial for junior researchers and engineers who wish to gain a better understanding of the model. The North-Star objective of Amphion is to offer a platform for studying the conversion of any inputs into general audio. Amphion is designed to support individual generation tasks. In addition to the specific generation tasks, Amphion also includes several vocoders and evaluation metrics. A vocoder is an important module for producing high-quality audio signals, while evaluation metrics are critical for ensuring consistent metrics in generation tasks. In this paper, we provide a high-level overview of Amphion.