Amphion : Une boîte à outils open-source pour la génération audio, musicale et vocale
Amphion: An Open-Source Audio, Music and Speech Generation Toolkit
December 15, 2023
Auteurs: Xueyao Zhang, Liumeng Xue, Yuancheng Wang, Yicheng Gu, Xi Chen, Zihao Fang, Haopeng Chen, Lexiao Zou, Chaoren Wang, Jun Han, Kai Chen, Haizhou Li, Zhizheng Wu
cs.AI
Résumé
Amphion est une boîte à outils dédiée à la génération audio, musicale et vocale. Son objectif est de soutenir la recherche reproductible et d'aider les chercheurs et ingénieurs débutants à s'initier au domaine de la recherche et du développement en génération audio, musicale et vocale. Amphion propose une fonctionnalité unique : des visualisations de modèles ou architectures classiques. Nous pensons que ces visualisations sont bénéfiques pour les chercheurs et ingénieurs débutants souhaitant mieux comprendre les modèles. L'objectif principal d'Amphion est d'offrir une plateforme pour étudier la conversion de n'importe quelles entrées en audio général. Amphion est conçu pour prendre en charge des tâches de génération individuelles. En plus des tâches de génération spécifiques, Amphion inclut également plusieurs vocodeurs et métriques d'évaluation. Un vocodeur est un module essentiel pour produire des signaux audio de haute qualité, tandis que les métriques d'évaluation sont cruciales pour garantir des mesures cohérentes dans les tâches de génération. Dans cet article, nous fournissons une vue d'ensemble de haut niveau d'Amphion.
English
Amphion is a toolkit for Audio, Music, and Speech Generation. Its purpose is
to support reproducible research and help junior researchers and engineers get
started in the field of audio, music, and speech generation research and
development. Amphion offers a unique feature: visualizations of classic models
or architectures. We believe that these visualizations are beneficial for
junior researchers and engineers who wish to gain a better understanding of the
model. The North-Star objective of Amphion is to offer a platform for studying
the conversion of any inputs into general audio. Amphion is designed to support
individual generation tasks. In addition to the specific generation tasks,
Amphion also includes several vocoders and evaluation metrics. A vocoder is an
important module for producing high-quality audio signals, while evaluation
metrics are critical for ensuring consistent metrics in generation tasks. In
this paper, we provide a high-level overview of Amphion.