Auf dem Weg zur Erreichung menschlicher Parität bei der simultanen End-to-End-Sprachübersetzung mittels LLM-Agenten.

Towards Achieving Human Parity on End-to-end Simultaneous Speech Translation via LLM Agent

July 31, 2024

Autoren: Shanbo Cheng, Zhichao Huang, Tom Ko, Hang Li, Ningxin Peng, Lu Xu, Qini Zhang

cs.AI

Zusammenfassung

In diesem Paper präsentieren wir Cross Language Agent - Simultaneous Interpretation, CLASI, ein hochwertiges und menschenähnliches Simultaneous Speech Translation (SiST) System. Inspiriert von professionellen menschlichen Dolmetschern nutzen wir eine neuartige datengesteuerte Lese-Schreib-Strategie, um die Übersetzungsqualität und Latenz auszubalancieren. Um die Herausforderung der Übersetzung von in-domain Terminologien anzugehen, setzt CLASI ein Multi-Modal-Retrieving-Modul ein, um relevante Informationen zu erhalten, die die Übersetzung ergänzen. Unterstützt durch LLMs kann unser Ansatz fehlertolerante Übersetzungen generieren, indem er den Eingangston, den historischen Kontext und die abgerufenen Informationen berücksichtigt. Experimentelle Ergebnisse zeigen, dass unser System andere Systeme signifikant übertrifft. Im Einklang mit professionellen menschlichen Dolmetschern bewerten wir CLASI anhand eines besseren menschlichen Bewertungskriteriums, dem validen Informationsanteil (VIP), der misst, wie viel Information erfolgreich an die Zuhörer vermittelt werden kann. In realen Szenarien, in denen Reden oft stockend, informell und unklar sind, erreicht CLASI einen VIP von 81,3 % bzw. 78,0 % für die Übersetzungsrichtungen Chinesisch-Englisch und Englisch-Chinesisch. Im Gegensatz dazu erreichen führende kommerzielle oder Open-Source-Systeme nur 35,4 % bzw. 41,6 %. Auf dem extrem schwierigen Datensatz, auf dem andere Systeme unter 13 % VIP erreichen, kann CLASI immer noch 70 % VIP erreichen.

English

In this paper, we present Cross Language Agent -- Simultaneous Interpretation, CLASI, a high-quality and human-like Simultaneous Speech Translation (SiST) System. Inspired by professional human interpreters, we utilize a novel data-driven read-write strategy to balance the translation quality and latency. To address the challenge of translating in-domain terminologies, CLASI employs a multi-modal retrieving module to obtain relevant information to augment the translation. Supported by LLMs, our approach can generate error-tolerated translation by considering the input audio, historical context, and retrieved information. Experimental results show that our system outperforms other systems by significant margins. Aligned with professional human interpreters, we evaluate CLASI with a better human evaluation metric, valid information proportion (VIP), which measures the amount of information that can be successfully conveyed to the listeners. In the real-world scenarios, where the speeches are often disfluent, informal, and unclear, CLASI achieves VIP of 81.3% and 78.0% for Chinese-to-English and English-to-Chinese translation directions, respectively. In contrast, state-of-the-art commercial or open-source systems only achieve 35.4% and 41.6%. On the extremely hard dataset, where other systems achieve under 13% VIP, CLASI can still achieve 70% VIP.