SoundCTM: Unificando Modelos Basados en Puntuación y de Consistencia para la Generación de Sonido a partir de Texto

SoundCTM: Uniting Score-based and Consistency Models for Text-to-Sound Generation

May 28, 2024

Autores: Koichi Saito, Dongjun Kim, Takashi Shibuya, Chieh-Hsin Lai, Zhi Zhong, Yuhta Takida, Yuki Mitsufuji

cs.AI

Resumen

El contenido sonoro es un elemento indispensable para obras multimedia como videojuegos, música y películas. Los recientes modelos de generación de sonido basados en difusión de alta calidad pueden servir como herramientas valiosas para los creadores. Sin embargo, a pesar de producir sonidos de alta calidad, estos modelos suelen tener velocidades de inferencia lentas. Este inconveniente supone una carga para los creadores, quienes normalmente refinan sus sonidos mediante prueba y error para alinearlos con sus intenciones artísticas. Para abordar este problema, presentamos los Modelos de Trayectoria de Consistencia de Sonido (SoundCTM). Nuestro modelo permite transiciones flexibles entre la generación de sonido de un paso de alta calidad y una calidad de sonido superior mediante generación de múltiples pasos. Esto permite a los creadores controlar inicialmente los sonidos con muestras de un paso antes de refinarlos a través de la generación de múltiples pasos. Aunque CTM logra fundamentalmente una generación flexible de un paso y múltiples pasos, su impresionante rendimiento depende en gran medida de un extractor de características preentrenado adicional y una pérdida adversarial, que son costosos de entrenar y no siempre están disponibles en otros dominios. Por lo tanto, reformulamos el marco de entrenamiento de CTM e introducimos una nueva distancia de características utilizando la red del profesor para una pérdida de destilación. Además, mientras destilamos trayectorias guiadas sin clasificador, entrenamos modelos de estudiante condicionales e incondicionales simultáneamente e interpolamos entre estos modelos durante la inferencia. También proponemos marcos de control entrenables sin entrenamiento para SoundCTM, aprovechando su capacidad de muestreo flexible. SoundCTM logra tanto una prometedora generación de sonido en tiempo real de un paso como de múltiples pasos sin utilizar ninguna red adicional preexistente. Además, demostramos la capacidad de SoundCTM para la generación de sonido controlable de manera entrenable sin entrenamiento.

English

Sound content is an indispensable element for multimedia works such as video games, music, and films. Recent high-quality diffusion-based sound generation models can serve as valuable tools for the creators. However, despite producing high-quality sounds, these models often suffer from slow inference speeds. This drawback burdens creators, who typically refine their sounds through trial and error to align them with their artistic intentions. To address this issue, we introduce Sound Consistency Trajectory Models (SoundCTM). Our model enables flexible transitioning between high-quality 1-step sound generation and superior sound quality through multi-step generation. This allows creators to initially control sounds with 1-step samples before refining them through multi-step generation. While CTM fundamentally achieves flexible 1-step and multi-step generation, its impressive performance heavily depends on an additional pretrained feature extractor and an adversarial loss, which are expensive to train and not always available in other domains. Thus, we reframe CTM's training framework and introduce a novel feature distance by utilizing the teacher's network for a distillation loss. Additionally, while distilling classifier-free guided trajectories, we train conditional and unconditional student models simultaneously and interpolate between these models during inference. We also propose training-free controllable frameworks for SoundCTM, leveraging its flexible sampling capability. SoundCTM achieves both promising 1-step and multi-step real-time sound generation without using any extra off-the-shelf networks. Furthermore, we demonstrate SoundCTM's capability of controllable sound generation in a training-free manner.