SoundCTM: Het verenigen van score-gebaseerde en consistentiemodellen voor tekst-naar-geluid generatie

SoundCTM: Uniting Score-based and Consistency Models for Text-to-Sound Generation

May 28, 2024

Auteurs: Koichi Saito, Dongjun Kim, Takashi Shibuya, Chieh-Hsin Lai, Zhi Zhong, Yuhta Takida, Yuki Mitsufuji

cs.AI

Samenvatting

Geluid is een onmisbaar element voor multimediale werken zoals videogames, muziek en films. Recente, hoogwaardige op diffusie gebaseerde geluidsgeneratiemodellen kunnen waardevolle hulpmiddelen zijn voor makers. Hoewel deze modellen hoogwaardige geluiden produceren, hebben ze vaak te maken met trage inferentiesnelheden. Dit nadeel belast makers, die doorgaans hun geluiden verfijnen door middel van trial and error om ze af te stemmen op hun artistieke intenties. Om dit probleem aan te pakken, introduceren we Sound Consistency Trajectory Models (SoundCTM). Ons model maakt een flexibele overgang mogelijk tussen hoogwaardige 1-staps geluidsgeneratie en superieure geluidskwaliteit via meerstapsgeneratie. Hierdoor kunnen makers geluiden aanvankelijk beheersen met 1-staps samples voordat ze deze verfijnen door middel van meerstapsgeneratie. Hoewel CTM in principe flexibele 1-staps en meerstapsgeneratie bereikt, hangt de indrukwekkende prestaties sterk af van een extra voorgetrainde feature extractor en een adversarial loss, die duur zijn om te trainen en niet altijd beschikbaar zijn in andere domeinen. Daarom herformuleren we het trainingsframework van CTM en introduceren we een nieuwe feature distance door het netwerk van de leraar te gebruiken voor een distillatieverlies. Bovendien trainen we, tijdens het distilleren van classifier-free guided trajectories, conditionele en niet-conditionele studentmodellen gelijktijdig en interpoleren we tussen deze modellen tijdens de inferentie. We stellen ook trainingsvrije beheersbare frameworks voor SoundCTM voor, waarbij we gebruikmaken van de flexibele samplingmogelijkheid. SoundCTM bereikt zowel veelbelovende 1-staps als meerstaps real-time geluidsgeneratie zonder gebruik te maken van extra kant-en-klare netwerken. Verder demonstreren we de mogelijkheid van SoundCTM om beheersbare geluidsgeneratie uit te voeren op een trainingsvrije manier.

English

Sound content is an indispensable element for multimedia works such as video games, music, and films. Recent high-quality diffusion-based sound generation models can serve as valuable tools for the creators. However, despite producing high-quality sounds, these models often suffer from slow inference speeds. This drawback burdens creators, who typically refine their sounds through trial and error to align them with their artistic intentions. To address this issue, we introduce Sound Consistency Trajectory Models (SoundCTM). Our model enables flexible transitioning between high-quality 1-step sound generation and superior sound quality through multi-step generation. This allows creators to initially control sounds with 1-step samples before refining them through multi-step generation. While CTM fundamentally achieves flexible 1-step and multi-step generation, its impressive performance heavily depends on an additional pretrained feature extractor and an adversarial loss, which are expensive to train and not always available in other domains. Thus, we reframe CTM's training framework and introduce a novel feature distance by utilizing the teacher's network for a distillation loss. Additionally, while distilling classifier-free guided trajectories, we train conditional and unconditional student models simultaneously and interpolate between these models during inference. We also propose training-free controllable frameworks for SoundCTM, leveraging its flexible sampling capability. SoundCTM achieves both promising 1-step and multi-step real-time sound generation without using any extra off-the-shelf networks. Furthermore, we demonstrate SoundCTM's capability of controllable sound generation in a training-free manner.