Woosh: Een Foundation Model voor Geluidseffecten
Woosh: A Sound Effects Foundation Model
April 2, 2026
Auteurs: Gaëtan Hadjeres, Marc Ferras, Khaled Koutini, Benno Weck, Alexandre Bittar, Thomas Hummel, Zineb Lahrici, Hakim Missoum, Joan Serrà, Yuki Mitsufuji
cs.AI
Samenvatting
De audiogemeenschap vertrouwt op open generatieve modellen als fundamentele instrumenten voor het ontwikkelen van nieuwe aanpakken en het vaststellen van ijkpunten. In dit rapport presenteren we Woosh, Sony AI's openbaar vrijgegeven foundation-model voor geluidseffecten, waarbij we de architectuur, het trainingsproces en een evaluatie in vergelijking met andere populaire open modellen gedetailleerd beschrijven. Geoptimaliseerd voor geluidseffecten, bieden we (1) een encoder/decoder-model voor hoogwaardige audio en (2) een tekst-audio-aligneringsmodel voor conditionering, samen met (3) tekst-naar-audio en (4) video-naar-audio generatieve modellen. Gedistilleerde tekst-naar-audio en video-naar-audio modellen zijn eveneens opgenomen in de release, wat gebruik met beperkte middelen en snelle inferentie mogelijk maakt. Onze evaluatie op zowel publieke als private data toont competitieve of betere prestaties voor elke module in vergelijking met bestaande open alternatieven zoals StableAudio-Open en TangoFlux. Inferentiecode en modelgewichten zijn beschikbaar op https://github.com/SonyResearch/Woosh. Demosamples zijn te vinden op https://sonyresearch.github.io/Woosh/.
English
The audio research community depends on open generative models as foundational tools for building novel approaches and establishing baselines. In this report, we present Woosh, Sony AI's publicly released sound effect foundation model, detailing its architecture, training process, and an evaluation against other popular open models. Being optimized for sound effects, we provide (1) a high-quality audio encoder/decoder model and (2) a text-audio alignment model for conditioning, together with (3) text-to-audio and (4) video-to-audio generative models. Distilled text-to-audio and video-to-audio models are also included in the release, allowing for low-resource operation and fast inference. Our evaluation on both public and private data shows competitive or better performance for each module when compared to existing open alternatives like StableAudio-Open and TangoFlux. Inference code and model weights are available at https://github.com/SonyResearch/Woosh. Demo samples can be found at https://sonyresearch.github.io/Woosh/.