OpenSTBench: Além da Avaliação Semântica para Tradução de Fala

Resumo

Os sistemas de tradução de fala abrangem cada vez mais a tradução de fala para texto (S2TT), a tradução de fala para fala (S2ST), a tradução offline e a geração em streaming, produzindo saídas que diferem em modalidade, realização da fala e comportamento temporal. As práticas de avaliação existentes avaliam aspectos importantes, como qualidade da tradução, qualidade da fala e qualidade temporal, mas esses aspectos são frequentemente avaliados sob protocolos separados, dificultando a comparação abrangente de sistemas heterogêneos. Para preencher essa lacuna, apresentamos o OpenSTBench, um framework unificado de avaliação multidimensional que organiza saídas heterogêneas de tradução de fala em um formato de avaliação compartilhado. O OpenSTBench suporta sistemas S2TT e S2ST em configurações offline e em streaming, e avalia conjuntamente a qualidade da tradução, a qualidade da fala, a preservação do locutor, a fidelidade emocional e paralinguística, a consistência temporal e a latência. Por meio de experimentos em sistemas representativos de tradução de fala, mostramos que sistemas com forte qualidade de tradução ainda podem diferir substancialmente em qualidade da fala, bem como em qualidade temporal. O OpenSTBench fornece um protocolo reprodutível para analisar essas diferenças entre dimensões e apoiar a comparação orientada a aplicações de sistemas de tradução de fala. O código e os conjuntos de dados estão disponíveis em https://github.com/sjtuayj/OpenSTBench.

English

Speech translation systems increasingly span speech-to-text translation (S2TT), speech-to-speech translation (S2ST), offline translation, and streaming generation, producing outputs that differ in modality, speech realization, and timing behavior. Existing evaluation practices assess important aspects such as translation quality, speech quality, and temporal quality, but these aspects are often evaluated under separate protocols, making it difficult to compare heterogeneous systems comprehensively. To address this gap, we present OpenSTBench, a unified multidimensional evaluation framework that organizes heterogeneous speech translation outputs into a shared evaluation format. OpenSTBench supports both S2TT and S2ST systems in offline and streaming settings, and jointly evaluates translation quality, speech quality, speaker preservation, emotion and paralinguistic fidelity, temporal consistency, and latency. Through experiments on representative speech translation systems, we show that systems with strong translation quality can still differ substantially in speech quality, as well as in temporal quality. OpenSTBench provides a reproducible protocol for analyzing these cross-dimensional differences and supporting application-oriented comparison of speech translation systems. The code and datasets are available at https://github.com/sjtuayj/OpenSTBench.