OpenSTBench: Voorbij Semantische Evaluatie voor Spraakvertaling

Samenvatting

Spraakvertalingssystemen omvatten steeds vaker spraak-naar-tekstvertaling (S2TT), spraak-naar-spraakvertaling (S2ST), offline vertaling en streaming generatie, waarbij uitvoer wordt gegenereerd die verschilt in modaliteit, spraakrealisatie en timinggedrag. Bestaande evaluatiepraktijken beoordelen belangrijke aspecten zoals vertaalkwaliteit, spraakkwaliteit en temporele kwaliteit, maar deze aspecten worden vaak geëvalueerd onder afzonderlijke protocollen, waardoor het moeilijk is om heterogene systemen uitgebreid te vergelijken. Om deze lacune aan te pakken presenteren wij OpenSTBench, een uniform multidimensional evaluatiekader dat heterogene spraakvertalingsuitvoer organiseert in een gedeeld evaluatieformaat. OpenSTBench ondersteunt zowel S2TT- als S2ST-systemen in offline- en streaminginstellingen en evalueert gezamenlijk vertaalkwaliteit, spraakkwaliteit, behoud van spreker, emotie- en paralinguïstische getrouwheid, temporele consistentie en latentie. Door middel van experimenten met representatieve spraakvertalingssystemen tonen wij aan dat systemen met sterke vertaalkwaliteit nog steeds aanzienlijk kunnen verschillen in spraakkwaliteit en in temporele kwaliteit. OpenSTBench biedt een reproduceerbaar protocol voor het analyseren van deze cross-dimensionale verschillen en ondersteunt toepassingsgerichte vergelijking van spraakvertalingssystemen. De code en datasets zijn beschikbaar op https://github.com/sjtuayj/OpenSTBench.

English

Speech translation systems increasingly span speech-to-text translation (S2TT), speech-to-speech translation (S2ST), offline translation, and streaming generation, producing outputs that differ in modality, speech realization, and timing behavior. Existing evaluation practices assess important aspects such as translation quality, speech quality, and temporal quality, but these aspects are often evaluated under separate protocols, making it difficult to compare heterogeneous systems comprehensively. To address this gap, we present OpenSTBench, a unified multidimensional evaluation framework that organizes heterogeneous speech translation outputs into a shared evaluation format. OpenSTBench supports both S2TT and S2ST systems in offline and streaming settings, and jointly evaluates translation quality, speech quality, speaker preservation, emotion and paralinguistic fidelity, temporal consistency, and latency. Through experiments on representative speech translation systems, we show that systems with strong translation quality can still differ substantially in speech quality, as well as in temporal quality. OpenSTBench provides a reproducible protocol for analyzing these cross-dimensional differences and supporting application-oriented comparison of speech translation systems. The code and datasets are available at https://github.com/sjtuayj/OpenSTBench.