¿Qué tan "real" es tu sistema de traducción de habla a texto simultánea en tiempo real?

How "Real" is Your Real-Time Simultaneous Speech-to-Text Translation System?

December 24, 2024

Autores: Sara Papi, Peter Polak, Ondřej Bojar, Dominik Macháček

cs.AI

Resumen

La traducción simultánea de habla a texto (SimulST) traduce el habla en el idioma de origen a texto en el idioma de destino de manera concurrente con el discurso del hablante, garantizando una baja latencia para una mejor comprensión por parte del usuario. A pesar de su aplicación prevista en el habla ilimitada, la mayoría de las investigaciones se han centrado en el habla presegmentada por humanos, simplificando la tarea y pasando por alto desafíos significativos. Este enfoque estrecho, junto con las amplias inconsistencias terminológicas, está limitando la aplicabilidad de los resultados de la investigación a aplicaciones del mundo real, obstaculizando en última instancia el progreso en el campo. Nuestra extensa revisión de literatura de 110 trabajos no solo revela estos problemas críticos en la investigación actual, sino que también sirve como base para nuestras principales contribuciones. 1) Definimos los pasos y componentes principales de un sistema SimulST, proponiendo una terminología y taxonomía estandarizadas; 2) realizamos un análisis exhaustivo de las tendencias de la comunidad, y 3) ofrecemos recomendaciones concretas y futuras direcciones para cerrar las brechas en la literatura existente, desde marcos de evaluación hasta arquitecturas de sistemas, para avanzar en el campo hacia soluciones SimulST más realistas y efectivas.

English

Simultaneous speech-to-text translation (SimulST) translates source-language speech into target-language text concurrently with the speaker's speech, ensuring low latency for better user comprehension. Despite its intended application to unbounded speech, most research has focused on human pre-segmented speech, simplifying the task and overlooking significant challenges. This narrow focus, coupled with widespread terminological inconsistencies, is limiting the applicability of research outcomes to real-world applications, ultimately hindering progress in the field. Our extensive literature review of 110 papers not only reveals these critical issues in current research but also serves as the foundation for our key contributions. We 1) define the steps and core components of a SimulST system, proposing a standardized terminology and taxonomy; 2) conduct a thorough analysis of community trends, and 3) offer concrete recommendations and future directions to bridge the gaps in existing literature, from evaluation frameworks to system architectures, for advancing the field towards more realistic and effective SimulST solutions.