Fish Audio S2 Technischer Bericht
Fish Audio S2 Technical Report
March 9, 2026
Autoren: Shijia Liao, Yuxuan Wang, Songting Liu, Yifan Cheng, Ruoyi Zhang, Tianyu Li, Shidong Li, Yisheng Zheng, Xingwei Liu, Qingzheng Wang, Zhizhuo Zhou, Jiahua Liu, Xin Chen, Dawei Han
cs.AI
Zusammenfassung
Wir stellen Fish Audio S2 vor, ein quelloffenes Text-zu-Sprache-System mit Funktionen zur Mehrsprecher- und Mehrfachdialog-Generierung sowie, vor allem, einer steuerbaren Befolgung von Anweisungen durch natürliche Sprachbeschreibungen. Um das Training zu skalieren, entwickelten wir ein mehrstufiges Trainingsrezept zusammen mit einer gestaffelten Datenpipeline, die Videobeschriftung, Sprachbeschriftung, Bewertung der Sprachqualität und Reward-Modellierung umfasst. Um die Grenzen quelloffener TTS-Systeme zu erweitern, veröffentlichen wir unsere Modellgewichte, Fine-Tuning-Code und eine auf SGLang basierende Inferenz-Engine. Die Inferenz-Engine ist produktionsreif für Streaming, erreicht eine RTF von 0,195 und eine Zeit bis zum ersten Audiosegment von unter 100 ms.Unser Code und unsere Gewichte sind auf GitHub (https://github.com/fishaudio/fish-speech) und Hugging Face (https://huggingface.co/fishaudio/s2-pro) verfügbar. Wir ermutigen Leser nachdrücklich, https://fish.audio zu besuchen, um benutzerdefinierte Stimmen auszuprobieren.
English
We introduce Fish Audio S2, an open-sourced text-to-speech system featuring multi-speaker, multi-turn generation, and, most importantly, instruction-following control via natural-language descriptions. To scale training, we develop a multi-stage training recipe together with a staged data pipeline covering video captioning and speech captioning, voice-quality assessment, and reward modeling. To push the frontier of open-source TTS, we release our model weights, fine-tuning code, and an SGLang-based inference engine. The inference engine is production-ready for streaming, achieving an RTF of 0.195 and a time-to-first-audio below 100 ms.Our code and weights are available on GitHub (https://github.com/fishaudio/fish-speech) and Hugging Face (https://huggingface.co/fishaudio/s2-pro). We highly encourage readers to visit https://fish.audio to try custom voices.