Amphion: Um Kit de Ferramentas de Código Aberto para Geração de Áudio, Música e Fala

Amphion: An Open-Source Audio, Music and Speech Generation Toolkit

December 15, 2023

Autores: Xueyao Zhang, Liumeng Xue, Yuancheng Wang, Yicheng Gu, Xi Chen, Zihao Fang, Haopeng Chen, Lexiao Zou, Chaoren Wang, Jun Han, Kai Chen, Haizhou Li, Zhizheng Wu

cs.AI

Resumo

Amphion é um kit de ferramentas para Geração de Áudio, Música e Fala. Seu objetivo é apoiar pesquisas reproduzíveis e ajudar pesquisadores e engenheiros iniciantes a ingressar no campo de pesquisa e desenvolvimento de geração de áudio, música e fala. O Amphion oferece um recurso único: visualizações de modelos ou arquiteturas clássicas. Acreditamos que essas visualizações são benéficas para pesquisadores e engenheiros iniciantes que desejam obter uma melhor compreensão do modelo. O objetivo principal do Amphion é oferecer uma plataforma para estudar a conversão de qualquer entrada em áudio geral. O Amphion foi projetado para apoiar tarefas individuais de geração. Além das tarefas específicas de geração, o Amphion também inclui vários vocoders e métricas de avaliação. Um vocoder é um módulo importante para produzir sinais de áudio de alta qualidade, enquanto as métricas de avaliação são essenciais para garantir consistência nas métricas das tarefas de geração. Neste artigo, fornecemos uma visão geral de alto nível do Amphion.

English

Amphion is a toolkit for Audio, Music, and Speech Generation. Its purpose is to support reproducible research and help junior researchers and engineers get started in the field of audio, music, and speech generation research and development. Amphion offers a unique feature: visualizations of classic models or architectures. We believe that these visualizations are beneficial for junior researchers and engineers who wish to gain a better understanding of the model. The North-Star objective of Amphion is to offer a platform for studying the conversion of any inputs into general audio. Amphion is designed to support individual generation tasks. In addition to the specific generation tasks, Amphion also includes several vocoders and evaluation metrics. A vocoder is an important module for producing high-quality audio signals, while evaluation metrics are critical for ensuring consistent metrics in generation tasks. In this paper, we provide a high-level overview of Amphion.