Rapport Technique Fish Audio S2

Résumé

Nous présentons Fish Audio S2, un système de synthèse vocale open source proposant la génération multi-locuteurs et multi-tours, et surtout un contrôle par instructions via des descriptions en langage naturel. Pour optimiser l'entraînement, nous avons développé une méthode d'entraînement multi-étapes ainsi qu'un pipeline de données incluant le sous-titrage vidéo et vocal, l'évaluation de la qualité vocale et la modélisation par récompense. Pour repousser les limites des systèmes TTS open source, nous publions les poids de notre modèle, le code de fine-tuning et un moteur d'inférence basé sur SGLang. Ce moteur est prêt pour la production en streaming, avec un RTF de 0,195 et un temps jusqu'au premier audio inférieur à 100 ms. Notre code et nos poids sont disponibles sur GitHub (https://github.com/fishaudio/fish-speech) et Hugging Face (https://huggingface.co/fishaudio/s2-pro). Nous encourageons vivement les lecteurs à visiter https://fish.audio pour tester des voix personnalisées.

English

We introduce Fish Audio S2, an open-sourced text-to-speech system featuring multi-speaker, multi-turn generation, and, most importantly, instruction-following control via natural-language descriptions. To scale training, we develop a multi-stage training recipe together with a staged data pipeline covering video captioning and speech captioning, voice-quality assessment, and reward modeling. To push the frontier of open-source TTS, we release our model weights, fine-tuning code, and an SGLang-based inference engine. The inference engine is production-ready for streaming, achieving an RTF of 0.195 and a time-to-first-audio below 100 ms.Our code and weights are available on GitHub (https://github.com/fishaudio/fish-speech) and Hugging Face (https://huggingface.co/fishaudio/s2-pro). We highly encourage readers to visit https://fish.audio to try custom voices.

Rapport Technique Fish Audio S2

Fish Audio S2 Technical Report

Résumé

Support