Woosh: Ein Grundmodell für Soundeffekte
Woosh: A Sound Effects Foundation Model
April 2, 2026
Autoren: Gaëtan Hadjeres, Marc Ferras, Khaled Koutini, Benno Weck, Alexandre Bittar, Thomas Hummel, Zineb Lahrici, Hakim Missoum, Joan Serrà, Yuki Mitsufuji
cs.AI
Zusammenfassung
Die Audioforschungsgemeinschaft ist auf offene generative Modelle als grundlegende Werkzeuge angewiesen, um neuartige Ansätze zu entwickeln und Vergleichsbasen zu schaffen. In diesem Bericht stellen wir Woosh vor, das von Sony AI öffentlich freigegebene Soundeffekt-Basismodell, und erläutern detailliert seine Architektur, den Trainingsprozess sowie eine Evaluierung im Vergleich zu anderen verbreiteten Open-Source-Modellen. Da es für Soundeffekte optimiert ist, bieten wir (1) ein hochwertiges Audio-Encoder/Decoder-Modell und (2) ein Text-Audio-Ausrichtungsmodell für die Konditionierung, zusammen mit (3) Text-zu-Audio- und (4) Video-zu-Audio-generativen Modellen. Destillierte Text-zu-Audio- und Video-zu-Audio-Modelle sind ebenfalls im Release enthalten, was einen Betrieb mit geringen Ressourcen und schnelle Inferenz ermöglicht. Unsere Auswertung auf öffentlichen und privaten Daten zeigt für jedes Modul eine wettbewerbsfähige oder bessere Leistung im Vergleich zu bestehenden Open-Source-Alternativen wie StableAudio-Open und TangoFlux. Der Inferenzcode und die Modellgewichte sind unter https://github.com/SonyResearch/Woosh verfügbar. Demobeispiele finden Sie unter https://sonyresearch.github.io/Woosh/.
English
The audio research community depends on open generative models as foundational tools for building novel approaches and establishing baselines. In this report, we present Woosh, Sony AI's publicly released sound effect foundation model, detailing its architecture, training process, and an evaluation against other popular open models. Being optimized for sound effects, we provide (1) a high-quality audio encoder/decoder model and (2) a text-audio alignment model for conditioning, together with (3) text-to-audio and (4) video-to-audio generative models. Distilled text-to-audio and video-to-audio models are also included in the release, allowing for low-resource operation and fast inference. Our evaluation on both public and private data shows competitive or better performance for each module when compared to existing open alternatives like StableAudio-Open and TangoFlux. Inference code and model weights are available at https://github.com/SonyResearch/Woosh. Demo samples can be found at https://sonyresearch.github.io/Woosh/.