Naar het bereiken van menselijke pariteit in end-to-end simultane spraakvertaling via LLM-agenten

Samenvatting

In dit artikel presenteren we Cross Language Agent -- Simultaneous Interpretation, CLASI, een hoogwaardig en menselijk Simultaan Spraakvertaling (SiST) systeem. Geïnspireerd door professionele menselijke tolken, maken we gebruik van een nieuwe data-gedreven lees-schrijf strategie om de vertaalkwaliteit en latentie in balans te brengen. Om de uitdaging van het vertalen van domeinspecifieke terminologie aan te pakken, gebruikt CLASI een multi-modale retrievemodule om relevante informatie te verkrijgen om de vertaling te versterken. Ondersteund door LLM's kan onze aanpak foutgetolererde vertalingen genereren door rekening te houden met de invoeraudio, historische context en opgehaalde informatie. Experimentele resultaten tonen aan dat ons systeem andere systemen met aanzienlijke marges overtreft. In lijn met professionele menselijke tolken evalueren we CLASI met een betere menselijke evaluatiemetriek, de valid information proportion (VIP), die de hoeveelheid informatie meet die succesvol aan de luisteraars kan worden overgebracht. In real-world scenario's, waar toespraken vaak onvloeiend, informeel en onduidelijk zijn, behaalt CLASI een VIP van 81,3% en 78,0% voor respectievelijk Chinees-naar-Engels en Engels-naar-Chinees vertaalrichtingen. Daarentegen behalen state-of-the-art commerciële of open-source systemen slechts 35,4% en 41,6%. Op de extreem moeilijke dataset, waar andere systemen minder dan 13% VIP behalen, kan CLASI nog steeds 70% VIP behalen.

English

In this paper, we present Cross Language Agent -- Simultaneous Interpretation, CLASI, a high-quality and human-like Simultaneous Speech Translation (SiST) System. Inspired by professional human interpreters, we utilize a novel data-driven read-write strategy to balance the translation quality and latency. To address the challenge of translating in-domain terminologies, CLASI employs a multi-modal retrieving module to obtain relevant information to augment the translation. Supported by LLMs, our approach can generate error-tolerated translation by considering the input audio, historical context, and retrieved information. Experimental results show that our system outperforms other systems by significant margins. Aligned with professional human interpreters, we evaluate CLASI with a better human evaluation metric, valid information proportion (VIP), which measures the amount of information that can be successfully conveyed to the listeners. In the real-world scenarios, where the speeches are often disfluent, informal, and unclear, CLASI achieves VIP of 81.3% and 78.0% for Chinese-to-English and English-to-Chinese translation directions, respectively. In contrast, state-of-the-art commercial or open-source systems only achieve 35.4% and 41.6%. On the extremely hard dataset, where other systems achieve under 13% VIP, CLASI can still achieve 70% VIP.