Dans quelle mesure votre système de traduction de la parole en texte simultanée en temps réel est-il "réel" ?

How "Real" is Your Real-Time Simultaneous Speech-to-Text Translation System?

December 24, 2024

Auteurs: Sara Papi, Peter Polak, Ondřej Bojar, Dominik Macháček

cs.AI

Résumé

La traduction simultanée de la parole en texte (SimulST) traduit la parole dans la langue source en texte dans la langue cible de manière concomitante avec la parole de l'orateur, garantissant une faible latence pour une meilleure compréhension de l'utilisateur. Malgré son application prévue à la parole non bornée, la plupart des recherches se sont concentrées sur la parole pré-segmentée par l'humain, simplifiant la tâche et négligeant des défis significatifs. Cette focalisation étroite, associée à des incohérences terminologiques répandues, limite l'applicabilité des résultats de recherche aux applications réelles, entravant ainsi le progrès dans le domaine. Notre vaste revue de littérature de 110 articles révèle non seulement ces problèmes critiques dans la recherche actuelle, mais sert également de base à nos contributions clés. Nous 1) définissons les étapes et les composants essentiels d'un système SimulST, en proposant une terminologie normalisée et une taxonomie ; 2) effectuons une analyse approfondie des tendances de la communauté, et 3) formulons des recommandations concrètes et des orientations futures pour combler les lacunes dans la littérature existante, des cadres d'évaluation aux architectures de système, afin de faire progresser le domaine vers des solutions SimulST plus réalistes et efficaces.

English

Simultaneous speech-to-text translation (SimulST) translates source-language speech into target-language text concurrently with the speaker's speech, ensuring low latency for better user comprehension. Despite its intended application to unbounded speech, most research has focused on human pre-segmented speech, simplifying the task and overlooking significant challenges. This narrow focus, coupled with widespread terminological inconsistencies, is limiting the applicability of research outcomes to real-world applications, ultimately hindering progress in the field. Our extensive literature review of 110 papers not only reveals these critical issues in current research but also serves as the foundation for our key contributions. We 1) define the steps and core components of a SimulST system, proposing a standardized terminology and taxonomy; 2) conduct a thorough analysis of community trends, and 3) offer concrete recommendations and future directions to bridge the gaps in existing literature, from evaluation frameworks to system architectures, for advancing the field towards more realistic and effective SimulST solutions.