Amphion: 오픈소스 오디오, 음악 및 음성 생성 툴킷

초록

Amphion은 오디오, 음악, 음성 생성 분야를 위한 툴킷입니다. 이 툴킷의 목적은 재현 가능한 연구를 지원하고, 초보 연구자 및 엔지니어들이 오디오, 음악, 음성 생성 연구 및 개발 분야에 쉽게 진입할 수 있도록 돕는 것입니다. Amphion은 고전적인 모델이나 아키텍처의 시각화라는 독특한 기능을 제공합니다. 우리는 이러한 시각화가 모델을 더 잘 이해하고자 하는 초보 연구자 및 엔지니어들에게 유익할 것이라고 믿습니다. Amphion의 궁극적인 목표는 어떠한 입력도 일반 오디오로 변환하는 연구를 위한 플랫폼을 제공하는 것입니다. Amphion은 개별 생성 작업을 지원하도록 설계되었습니다. 특정 생성 작업 외에도, Amphion은 여러 가지 보코더와 평가 메트릭을 포함하고 있습니다. 보코더는 고품질 오디오 신호를 생성하기 위한 중요한 모듈이며, 평가 메트릭은 생성 작업에서 일관된 기준을 보장하는 데 필수적입니다. 본 논문에서는 Amphion에 대한 높은 수준의 개요를 제공합니다.

English

Amphion is a toolkit for Audio, Music, and Speech Generation. Its purpose is to support reproducible research and help junior researchers and engineers get started in the field of audio, music, and speech generation research and development. Amphion offers a unique feature: visualizations of classic models or architectures. We believe that these visualizations are beneficial for junior researchers and engineers who wish to gain a better understanding of the model. The North-Star objective of Amphion is to offer a platform for studying the conversion of any inputs into general audio. Amphion is designed to support individual generation tasks. In addition to the specific generation tasks, Amphion also includes several vocoders and evaluation metrics. A vocoder is an important module for producing high-quality audio signals, while evaluation metrics are critical for ensuring consistent metrics in generation tasks. In this paper, we provide a high-level overview of Amphion.

Amphion: 오픈소스 오디오, 음악 및 음성 생성 툴킷

Amphion: An Open-Source Audio, Music and Speech Generation Toolkit

초록

Support