SoundCTM: Unificazione di Modelli Basati su Score e Modelli di Consistenza per la Generazione di Suoni da Testo

SoundCTM: Uniting Score-based and Consistency Models for Text-to-Sound Generation

May 28, 2024

Autori: Koichi Saito, Dongjun Kim, Takashi Shibuya, Chieh-Hsin Lai, Zhi Zhong, Yuhta Takida, Yuki Mitsufuji

cs.AI

Abstract

Il suono è un elemento indispensabile per opere multimediali come videogiochi, musica e film. I recenti modelli di generazione sonora basati su diffusione di alta qualità possono rappresentare strumenti preziosi per i creatori. Tuttavia, nonostante producano suoni di alta qualità, questi modelli spesso soffrono di velocità di inferenza lenta. Questo inconveniente rappresenta un onere per i creatori, che tipicamente affinano i loro suoni attraverso tentativi ed errori per allinearli alle loro intenzioni artistiche. Per affrontare questo problema, introduciamo i Sound Consistency Trajectory Models (SoundCTM). Il nostro modello consente una transizione flessibile tra la generazione sonora di alta qualità in un singolo passaggio e una qualità sonora superiore attraverso la generazione multi-passaggio. Ciò permette ai creatori di controllare inizialmente i suoni con campioni a un singolo passaggio prima di affinarli attraverso la generazione multi-passaggio. Sebbene il CTM raggiunga fondamentalmente una generazione flessibile sia a un singolo che a multi-passaggio, le sue prestazioni impressionanti dipendono fortemente da un estrattore di caratteristiche pre-addestrato aggiuntivo e da una perdita avversaria, che sono costosi da addestrare e non sempre disponibili in altri domini. Pertanto, riformuliamo il framework di addestramento del CTM e introduciamo una nuova distanza delle caratteristiche utilizzando la rete del docente per una perdita di distillazione. Inoltre, mentre distilliamo traiettorie guidate senza classificatore, addestriamo simultaneamente modelli studente condizionali e non condizionali e interpoliamo tra questi modelli durante l'inferenza. Proponiamo anche framework controllabili senza addestramento per SoundCTM, sfruttando la sua capacità di campionamento flessibile. SoundCTM raggiunge sia una promettente generazione sonora in tempo reale a un singolo passaggio che multi-passaggio senza utilizzare alcuna rete preesistente aggiuntiva. Inoltre, dimostriamo la capacità di SoundCTM di generazione sonora controllabile in modo senza addestramento.

English

Sound content is an indispensable element for multimedia works such as video games, music, and films. Recent high-quality diffusion-based sound generation models can serve as valuable tools for the creators. However, despite producing high-quality sounds, these models often suffer from slow inference speeds. This drawback burdens creators, who typically refine their sounds through trial and error to align them with their artistic intentions. To address this issue, we introduce Sound Consistency Trajectory Models (SoundCTM). Our model enables flexible transitioning between high-quality 1-step sound generation and superior sound quality through multi-step generation. This allows creators to initially control sounds with 1-step samples before refining them through multi-step generation. While CTM fundamentally achieves flexible 1-step and multi-step generation, its impressive performance heavily depends on an additional pretrained feature extractor and an adversarial loss, which are expensive to train and not always available in other domains. Thus, we reframe CTM's training framework and introduce a novel feature distance by utilizing the teacher's network for a distillation loss. Additionally, while distilling classifier-free guided trajectories, we train conditional and unconditional student models simultaneously and interpolate between these models during inference. We also propose training-free controllable frameworks for SoundCTM, leveraging its flexible sampling capability. SoundCTM achieves both promising 1-step and multi-step real-time sound generation without using any extra off-the-shelf networks. Furthermore, we demonstrate SoundCTM's capability of controllable sound generation in a training-free manner.