Verso il Raggiungimento della Parità Umana nella Traduzione Simultanea End-to-End del Parlato tramite Agenti LLM

Abstract

In questo articolo presentiamo Cross Language Agent -- Simultaneous Interpretation, CLASI, un sistema di traduzione simultanea del parlato (SiST) di alta qualità e simile a quello umano. Ispirati dai professionisti dell'interpretariato, utilizziamo una nuova strategia data-driven di lettura-scrittura per bilanciare la qualità della traduzione e la latenza. Per affrontare la sfida della traduzione di terminologie specifiche del dominio, CLASI impiega un modulo di recupero multi-modale per ottenere informazioni rilevanti che arricchiscono la traduzione. Supportato dai LLM, il nostro approccio è in grado di generare traduzioni tolleranti agli errori considerando l'audio in ingresso, il contesto storico e le informazioni recuperate. I risultati sperimentali dimostrano che il nostro sistema supera gli altri sistemi con margini significativi. Allineandoci ai professionisti dell'interpretariato, valutiamo CLASI con una metrica di valutazione umana migliore, la proporzione di informazioni valide (VIP), che misura la quantità di informazioni che possono essere trasmesse con successo agli ascoltatori. Negli scenari reali, dove i discorsi sono spesso disfluenti, informali e poco chiari, CLASI raggiunge un VIP dell'81,3% e del 78,0% rispettivamente per le direzioni di traduzione dal cinese all'inglese e dall'inglese al cinese. Al contrario, i sistemi commerciali o open-source all'avanguardia raggiungono solo il 35,4% e il 41,6%. Sul dataset estremamente difficile, dove altri sistemi ottengono un VIP inferiore al 13%, CLASI riesce comunque a raggiungere un VIP del 70%.

English

In this paper, we present Cross Language Agent -- Simultaneous Interpretation, CLASI, a high-quality and human-like Simultaneous Speech Translation (SiST) System. Inspired by professional human interpreters, we utilize a novel data-driven read-write strategy to balance the translation quality and latency. To address the challenge of translating in-domain terminologies, CLASI employs a multi-modal retrieving module to obtain relevant information to augment the translation. Supported by LLMs, our approach can generate error-tolerated translation by considering the input audio, historical context, and retrieved information. Experimental results show that our system outperforms other systems by significant margins. Aligned with professional human interpreters, we evaluate CLASI with a better human evaluation metric, valid information proportion (VIP), which measures the amount of information that can be successfully conveyed to the listeners. In the real-world scenarios, where the speeches are often disfluent, informal, and unclear, CLASI achieves VIP of 81.3% and 78.0% for Chinese-to-English and English-to-Chinese translation directions, respectively. In contrast, state-of-the-art commercial or open-source systems only achieve 35.4% and 41.6%. On the extremely hard dataset, where other systems achieve under 13% VIP, CLASI can still achieve 70% VIP.