VoXtream2: Vollständiger Sprachstrom-TTS mit dynamischer Sprechgeschwindigkeitssteuerung
VoXtream2: Full-stream TTS with dynamic speaking rate control
March 13, 2026
Autoren: Nikita Torgashov, Gustav Eje Henter, Gabriel Skantze
cs.AI
Zusammenfassung
Full-Stream Text-to-Speech (TTS) für interaktive Systeme muss mit minimaler Verzögerung beginnen zu sprechen und dabei steuerbar bleiben, während der Text inkrementell eintrifft. Wir stellen VoXtream2 vor, ein Zero-Shot Full-Stream TTS-Modell mit dynamischer Sprechgeschwindigkeitssteuerung, die während der Äußerung laufend aktualisiert werden kann. VoXtream2 kombiniert einen Distribution-Matching-Mechanismus für Dauerzustände mit Classifier-Free Guidance über Konditionierungssignale, um die Steuerbarkeit und Synthesequalität zu verbessern. Prompt-Text-Masking ermöglicht eine textlose Audio-Prompting, was die Notwendigkeit einer Prompt-Transkription entfällt. In standardmäßigen Zero-Shot-Benchmarks und einem speziellen Testset für die Sprechgeschwindigkeit erzielt VoXtream2 wettbewerbsfähige objektive und subjektive Ergebnisse im Vergleich zu öffentlichen Baseline-Modellen, trotz eines kleineren Modells und weniger Trainingsdaten. Im Full-Stream-Modus läuft es 4-mal schneller als Echtzeit mit einer Latenz des ersten Pakets von 74 ms auf einer Consumer-GPU.
English
Full-stream text-to-speech (TTS) for interactive systems must start speaking with minimal delay while remaining controllable as text arrives incrementally. We present VoXtream2, a zero-shot full-stream TTS model with dynamic speaking-rate control that can be updated mid-utterance on the fly. VoXtream2 combines a distribution matching mechanism over duration states with classifier-free guidance across conditioning signals to improve controllability and synthesis quality. Prompt-text masking enables textless audio prompting, removing the need for prompt transcription. Across standard zero-shot benchmarks and a dedicated speaking-rate test set, VoXtream2 achieves competitive objective and subjective results against public baselines despite a smaller model and less training data. In full-stream mode, it runs 4 times faster than real time with 74 ms first-packet latency on a consumer GPU.