SoundCTM : Unification des modèles basés sur les scores et des modèles de cohérence pour la génération de sons à partir de texte

SoundCTM: Uniting Score-based and Consistency Models for Text-to-Sound Generation

May 28, 2024

papers.authors: Koichi Saito, Dongjun Kim, Takashi Shibuya, Chieh-Hsin Lai, Zhi Zhong, Yuhta Takida, Yuki Mitsufuji

cs.AI

papers.abstract

Le son est un élément indispensable pour les œuvres multimédias telles que les jeux vidéo, la musique et les films. Les récents modèles de génération sonore basés sur la diffusion, de haute qualité, peuvent servir d'outils précieux pour les créateurs. Cependant, malgré leur capacité à produire des sons de haute qualité, ces modèles souffrent souvent de vitesses d'inférence lentes. Cet inconvénient pèse sur les créateurs, qui affinent généralement leurs sons par essais et erreurs pour les aligner avec leurs intentions artistiques. Pour résoudre ce problème, nous introduisons les Sound Consistency Trajectory Models (SoundCTM). Notre modèle permet une transition flexible entre une génération sonore en une étape de haute qualité et une qualité sonore supérieure grâce à une génération en plusieurs étapes. Cela permet aux créateurs de contrôler initialement les sons avec des échantillons en une étape avant de les affiner via une génération en plusieurs étapes. Bien que le CTM permette fondamentalement une génération flexible en une étape et en plusieurs étapes, ses performances impressionnantes dépendent fortement d'un extracteur de caractéristiques pré-entraîné supplémentaire et d'une perte adversarial, qui sont coûteux à entraîner et pas toujours disponibles dans d'autres domaines. Ainsi, nous reformulons le cadre d'entraînement du CTM et introduisons une nouvelle distance de caractéristiques en utilisant le réseau de l'enseignant pour une perte de distillation. De plus, tout en distillant les trajectoires guidées sans classifieur, nous entraînons simultanément des modèles étudiants conditionnels et inconditionnels et interpolons entre ces modèles lors de l'inférence. Nous proposons également des cadres de contrôle sans entraînement pour SoundCTM, en tirant parti de sa capacité d'échantillonnage flexible. SoundCTM réalise à la fois une génération sonore en temps réel prometteuse en une étape et en plusieurs étapes sans utiliser aucun réseau supplémentaire prêt à l'emploi. En outre, nous démontrons la capacité de SoundCTM à générer des sons de manière contrôlée sans entraînement.

English

Sound content is an indispensable element for multimedia works such as video games, music, and films. Recent high-quality diffusion-based sound generation models can serve as valuable tools for the creators. However, despite producing high-quality sounds, these models often suffer from slow inference speeds. This drawback burdens creators, who typically refine their sounds through trial and error to align them with their artistic intentions. To address this issue, we introduce Sound Consistency Trajectory Models (SoundCTM). Our model enables flexible transitioning between high-quality 1-step sound generation and superior sound quality through multi-step generation. This allows creators to initially control sounds with 1-step samples before refining them through multi-step generation. While CTM fundamentally achieves flexible 1-step and multi-step generation, its impressive performance heavily depends on an additional pretrained feature extractor and an adversarial loss, which are expensive to train and not always available in other domains. Thus, we reframe CTM's training framework and introduce a novel feature distance by utilizing the teacher's network for a distillation loss. Additionally, while distilling classifier-free guided trajectories, we train conditional and unconditional student models simultaneously and interpolate between these models during inference. We also propose training-free controllable frameworks for SoundCTM, leveraging its flexible sampling capability. SoundCTM achieves both promising 1-step and multi-step real-time sound generation without using any extra off-the-shelf networks. Furthermore, we demonstrate SoundCTM's capability of controllable sound generation in a training-free manner.