Wie "real" ist Ihr Echtzeit-Simultan-Sprache-zu-Text-Übersetzungssystem?

How "Real" is Your Real-Time Simultaneous Speech-to-Text Translation System?

December 24, 2024

Autoren: Sara Papi, Peter Polak, Ondřej Bojar, Dominik Macháček

cs.AI

Zusammenfassung

Die simultane Sprach-zu-Text-Übersetzung (SimulST) übersetzt die Sprache der Ausgangssprache gleichzeitig mit der Rede des Sprechers in Text der Zielsprache, um eine geringe Latenz für eine bessere Benutzerkomprehension zu gewährleisten. Obwohl sie für die Anwendung auf ungebundene Sprache vorgesehen ist, hat sich die meiste Forschung auf vorab segmentierte menschliche Sprache konzentriert, was die Aufgabe vereinfacht und bedeutende Herausforderungen außer Acht lässt. Dieser enge Fokus, zusammen mit weit verbreiteten terminologischen Inkonsistenzen, schränkt die Anwendbarkeit der Forschungsergebnisse auf realen Anwendungen ein und behindert letztendlich den Fortschritt auf diesem Gebiet. Unsere umfangreiche Literaturübersicht von 110 Artikeln zeigt nicht nur diese kritischen Probleme in der aktuellen Forschung auf, sondern dient auch als Grundlage für unsere wesentlichen Beiträge. Wir 1) definieren die Schritte und Kernkomponenten eines SimulST-Systems, schlagen eine standardisierte Terminologie und Taxonomie vor; 2) führen eine gründliche Analyse der Trends in der Gemeinschaft durch und 3) bieten konkrete Empfehlungen und zukünftige Richtungen an, um die Lücken in der bestehenden Literatur zu überbrücken, von Evaluierungsrahmen bis hin zu Systemarchitekturen, um das Feld hin zu realistischeren und effektiveren SimulST-Lösungen voranzubringen.

English

Simultaneous speech-to-text translation (SimulST) translates source-language speech into target-language text concurrently with the speaker's speech, ensuring low latency for better user comprehension. Despite its intended application to unbounded speech, most research has focused on human pre-segmented speech, simplifying the task and overlooking significant challenges. This narrow focus, coupled with widespread terminological inconsistencies, is limiting the applicability of research outcomes to real-world applications, ultimately hindering progress in the field. Our extensive literature review of 110 papers not only reveals these critical issues in current research but also serves as the foundation for our key contributions. We 1) define the steps and core components of a SimulST system, proposing a standardized terminology and taxonomy; 2) conduct a thorough analysis of community trends, and 3) offer concrete recommendations and future directions to bridge the gaps in existing literature, from evaluation frameworks to system architectures, for advancing the field towards more realistic and effective SimulST solutions.