SoundCTM: Vereinigung von Score-basierten und Konsistenzmodellen für die Text-zu-Klang-Erzeugung.

SoundCTM: Uniting Score-based and Consistency Models for Text-to-Sound Generation

May 28, 2024

Autoren: Koichi Saito, Dongjun Kim, Takashi Shibuya, Chieh-Hsin Lai, Zhi Zhong, Yuhta Takida, Yuki Mitsufuji

cs.AI

Zusammenfassung

Der Klanginhalt ist ein unverzichtbares Element für multimediale Werke wie Videospiele, Musik und Filme. Aktuelle hochwertige diffusionsbasierte Klanggenerierungsmodelle können wertvolle Werkzeuge für die Schöpfer darstellen. Trotz der Erzeugung hochwertiger Klänge leiden diese Modelle jedoch oft unter langsamen Inferenzgeschwindigkeiten. Dieser Nachteil belastet die Schöpfer, die in der Regel ihre Klänge durch Ausprobieren verfeinern, um sie mit ihren künstlerischen Absichten in Einklang zu bringen. Um dieses Problem anzugehen, stellen wir die Sound Consistency Trajectory Models (SoundCTM) vor. Unser Modell ermöglicht einen flexiblen Übergang zwischen hochwertiger 1-Schritt-Klanggenerierung und überlegener Klangqualität durch Mehrschrittgenerierung. Dies ermöglicht es den Schöpfern, Klänge zunächst mit 1-Schritt-Samples zu steuern, bevor sie diese durch Mehrschrittgenerierung verfeinern. Während CTM grundsätzlich eine flexible 1-Schritt- und Mehrschrittgenerierung erreicht, hängt seine beeindruckende Leistung stark von einem zusätzlichen vorab trainierten Merkmalsextraktor und einem adversen Verlust ab, die teuer zu trainieren sind und nicht immer in anderen Bereichen verfügbar sind. Daher überarbeiten wir das Schulungsrahmenwerk von CTM und führen einen neuartigen Merkmalsabstand ein, indem wir den Netzwerk des Lehrers für einen Destillationsverlust nutzen. Darüber hinaus trainieren wir bei der Destillation von klassifizierungsfreien geführten Trajektorien gleichzeitig bedingte und unbedingte Schülermodelle und interpolieren zwischen diesen Modellen während der Inferenz. Wir schlagen auch schulungsfreie steuerbare Rahmenwerke für SoundCTM vor, die seine flexible Abtastfähigkeit nutzen. SoundCTM erreicht sowohl vielversprechende 1-Schritt- als auch Mehrschritt-Echtzeit-Klanggenerierung, ohne zusätzliche Netzwerke von der Stange zu verwenden. Darüber hinaus zeigen wir die Fähigkeit von SoundCTM zur steuerbaren Klanggenerierung auf schulungsfreie Weise.

English

Sound content is an indispensable element for multimedia works such as video games, music, and films. Recent high-quality diffusion-based sound generation models can serve as valuable tools for the creators. However, despite producing high-quality sounds, these models often suffer from slow inference speeds. This drawback burdens creators, who typically refine their sounds through trial and error to align them with their artistic intentions. To address this issue, we introduce Sound Consistency Trajectory Models (SoundCTM). Our model enables flexible transitioning between high-quality 1-step sound generation and superior sound quality through multi-step generation. This allows creators to initially control sounds with 1-step samples before refining them through multi-step generation. While CTM fundamentally achieves flexible 1-step and multi-step generation, its impressive performance heavily depends on an additional pretrained feature extractor and an adversarial loss, which are expensive to train and not always available in other domains. Thus, we reframe CTM's training framework and introduce a novel feature distance by utilizing the teacher's network for a distillation loss. Additionally, while distilling classifier-free guided trajectories, we train conditional and unconditional student models simultaneously and interpolate between these models during inference. We also propose training-free controllable frameworks for SoundCTM, leveraging its flexible sampling capability. SoundCTM achieves both promising 1-step and multi-step real-time sound generation without using any extra off-the-shelf networks. Furthermore, we demonstrate SoundCTM's capability of controllable sound generation in a training-free manner.