SoundCTM: Unindo Modelos Baseados em Pontuação e Modelos de Consistência para Geração de Som a partir de Texto

SoundCTM: Uniting Score-based and Consistency Models for Text-to-Sound Generation

May 28, 2024

Autores: Koichi Saito, Dongjun Kim, Takashi Shibuya, Chieh-Hsin Lai, Zhi Zhong, Yuhta Takida, Yuki Mitsufuji

cs.AI

Resumo

O conteúdo sonoro é um elemento indispensável para obras multimídia, como videogames, música e filmes. Modelos recentes de geração de som baseados em difusão de alta qualidade podem servir como ferramentas valiosas para os criadores. No entanto, apesar de produzirem sons de alta qualidade, esses modelos frequentemente sofrem com velocidades de inferência lentas. Essa desvantagem sobrecarrega os criadores, que normalmente refinam seus sons por meio de tentativa e erro para alinhá-los com suas intenções artísticas. Para resolver esse problema, introduzimos os Modelos de Trajetória de Consistência Sonora (SoundCTM). Nosso modelo permite uma transição flexível entre a geração de som de alta qualidade em uma etapa e uma qualidade sonora superior por meio de geração em múltiplas etapas. Isso permite que os criadores controlem inicialmente os sons com amostras de uma etapa antes de refiná-los por meio de geração em múltiplas etapas. Embora o CTM fundamentalmente alcance uma geração flexível em uma e múltiplas etapas, seu desempenho impressionante depende fortemente de um extrator de características pré-treinado adicional e de uma perda adversarial, que são caros para treinar e nem sempre estão disponíveis em outros domínios. Assim, reformulamos o framework de treinamento do CTM e introduzimos uma nova distância de características utilizando a rede do professor para uma perda de destilação. Além disso, ao destilar trajetórias guiadas sem classificador, treinamos modelos de estudante condicionais e incondicionais simultaneamente e interpolamos entre esses modelos durante a inferência. Também propomos frameworks de controle sem treinamento para o SoundCTM, aproveitando sua capacidade de amostragem flexível. O SoundCTM alcança tanto uma geração de som em tempo real promissora em uma etapa quanto em múltiplas etapas, sem usar nenhuma rede adicional pronta para uso. Além disso, demonstramos a capacidade do SoundCTM de gerar sons controláveis de maneira sem treinamento.

English

Sound content is an indispensable element for multimedia works such as video games, music, and films. Recent high-quality diffusion-based sound generation models can serve as valuable tools for the creators. However, despite producing high-quality sounds, these models often suffer from slow inference speeds. This drawback burdens creators, who typically refine their sounds through trial and error to align them with their artistic intentions. To address this issue, we introduce Sound Consistency Trajectory Models (SoundCTM). Our model enables flexible transitioning between high-quality 1-step sound generation and superior sound quality through multi-step generation. This allows creators to initially control sounds with 1-step samples before refining them through multi-step generation. While CTM fundamentally achieves flexible 1-step and multi-step generation, its impressive performance heavily depends on an additional pretrained feature extractor and an adversarial loss, which are expensive to train and not always available in other domains. Thus, we reframe CTM's training framework and introduce a novel feature distance by utilizing the teacher's network for a distillation loss. Additionally, while distilling classifier-free guided trajectories, we train conditional and unconditional student models simultaneously and interpolate between these models during inference. We also propose training-free controllable frameworks for SoundCTM, leveraging its flexible sampling capability. SoundCTM achieves both promising 1-step and multi-step real-time sound generation without using any extra off-the-shelf networks. Furthermore, we demonstrate SoundCTM's capability of controllable sound generation in a training-free manner.