Hoe "echt" is jouw real-time gelijktijdige spraak-naar-tekst vertalingssysteem?

How "Real" is Your Real-Time Simultaneous Speech-to-Text Translation System?

December 24, 2024

Auteurs: Sara Papi, Peter Polak, Ondřej Bojar, Dominik Macháček

cs.AI

Samenvatting

Simultane spraak-naar-tekst vertaling (SimulST) vertaalt bron-taal spraak gelijktijdig naar doel-taal tekst terwijl de spreker aan het praten is, met als doel een lage latentie te garanderen voor een beter begrip door de gebruiker. Ondanks de beoogde toepassing op onbegrensde spraak, heeft het merendeel van het onderzoek zich gericht op vooraf opgedeelde menselijke spraak, waardoor de taak vereenvoudigd wordt en significante uitdagingen over het hoofd gezien worden. Deze beperkte focus, samen met wijdverspreide terminologische inconsistenties, beperkt de toepasbaarheid van onderzoeksresultaten op praktische toepassingen, wat uiteindelijk de vooruitgang op dit gebied belemmert. Onze uitgebreide literatuurstudie van 110 artikelen onthult niet alleen deze kritieke kwesties in het huidige onderzoek, maar dient ook als basis voor onze belangrijkste bijdragen. Wij 1) definiëren de stappen en kerncomponenten van een SimulST systeem, waarbij we een gestandaardiseerde terminologie en taxonomie voorstellen; 2) voeren een grondige analyse uit van trends in de gemeenschap, en 3) bieden concrete aanbevelingen en toekomstige richtingen aan om de hiaten in bestaande literatuur te overbruggen, van evaluatiekaders tot systeemarchitecturen, om het vakgebied te bevorderen naar meer realistische en effectieve SimulST oplossingen.

English

Simultaneous speech-to-text translation (SimulST) translates source-language speech into target-language text concurrently with the speaker's speech, ensuring low latency for better user comprehension. Despite its intended application to unbounded speech, most research has focused on human pre-segmented speech, simplifying the task and overlooking significant challenges. This narrow focus, coupled with widespread terminological inconsistencies, is limiting the applicability of research outcomes to real-world applications, ultimately hindering progress in the field. Our extensive literature review of 110 papers not only reveals these critical issues in current research but also serves as the foundation for our key contributions. We 1) define the steps and core components of a SimulST system, proposing a standardized terminology and taxonomy; 2) conduct a thorough analysis of community trends, and 3) offer concrete recommendations and future directions to bridge the gaps in existing literature, from evaluation frameworks to system architectures, for advancing the field towards more realistic and effective SimulST solutions.