Amphion: Открытый инструментарий для генерации аудио, музыки и речи
Amphion: An Open-Source Audio, Music and Speech Generation Toolkit
December 15, 2023
Авторы: Xueyao Zhang, Liumeng Xue, Yuancheng Wang, Yicheng Gu, Xi Chen, Zihao Fang, Haopeng Chen, Lexiao Zou, Chaoren Wang, Jun Han, Kai Chen, Haizhou Li, Zhizheng Wu
cs.AI
Аннотация
Amphion — это инструментарий для генерации аудио, музыки и речи. Его цель — поддерживать воспроизводимые исследования и помогать начинающим исследователям и инженерам начать работу в области исследований и разработок, связанных с генерацией аудио, музыки и речи. Amphion предлагает уникальную функцию: визуализации классических моделей или архитектур. Мы считаем, что эти визуализации полезны для начинающих исследователей и инженеров, которые хотят лучше понять модель. Основная цель Amphion — предоставить платформу для изучения преобразования любых входных данных в общее аудио. Amphion разработан для поддержки отдельных задач генерации. Помимо конкретных задач генерации, Amphion также включает несколько вокодеров и метрик оценки. Вокодер — это важный модуль для создания высококачественных аудиосигналов, а метрики оценки критически важны для обеспечения согласованности показателей в задачах генерации. В этой статье мы предоставляем общий обзор Amphion.
English
Amphion is a toolkit for Audio, Music, and Speech Generation. Its purpose is
to support reproducible research and help junior researchers and engineers get
started in the field of audio, music, and speech generation research and
development. Amphion offers a unique feature: visualizations of classic models
or architectures. We believe that these visualizations are beneficial for
junior researchers and engineers who wish to gain a better understanding of the
model. The North-Star objective of Amphion is to offer a platform for studying
the conversion of any inputs into general audio. Amphion is designed to support
individual generation tasks. In addition to the specific generation tasks,
Amphion also includes several vocoders and evaluation metrics. A vocoder is an
important module for producing high-quality audio signals, while evaluation
metrics are critical for ensuring consistent metrics in generation tasks. In
this paper, we provide a high-level overview of Amphion.