Vers l'atteinte de la parité humaine dans la traduction simultanée de bout en bout de la parole via un agent de modèle de langage de grande taille

Towards Achieving Human Parity on End-to-end Simultaneous Speech Translation via LLM Agent

July 31, 2024

Auteurs: Shanbo Cheng, Zhichao Huang, Tom Ko, Hang Li, Ningxin Peng, Lu Xu, Qini Zhang

cs.AI

Résumé

Dans cet article, nous présentons Cross Language Agent -- Simultaneous Interpretation (CLASI), un système de traduction simultanée de la parole (SiST) de haute qualité et proche de l'humain. Inspiré par les interprètes professionnels humains, nous utilisons une nouvelle stratégie de lecture-écriture basée sur les données pour équilibrer la qualité de la traduction et la latence. Pour relever le défi de la traduction des terminologies spécifiques à un domaine, CLASI emploie un module de récupération multi-modal pour obtenir des informations pertinentes afin d'enrichir la traduction. Soutenu par des modèles de langage de grande taille (LLMs), notre approche peut générer une traduction tolérante aux erreurs en tenant compte de l'audio d'entrée, du contexte historique et des informations récupérées. Les résultats expérimentaux montrent que notre système surpasse les autres systèmes par des marges significatives. Aligné sur les interprètes professionnels humains, nous évaluons CLASI avec une meilleure métrique d'évaluation humaine, la proportion d'informations valides (VIP), qui mesure la quantité d'informations pouvant être transmises avec succès aux auditeurs. Dans les scénarios réels, où les discours sont souvent disfluents, informels et peu clairs, CLASI atteint un VIP de 81,3 % et 78,0 % pour les directions de traduction chinois-anglais et anglais-chinois, respectivement. En revanche, les systèmes commerciaux ou open-source de pointe n'atteignent que 35,4 % et 41,6 %. Sur le jeu de données extrêmement difficile, où les autres systèmes atteignent moins de 13 % de VIP, CLASI peut encore atteindre 70 % de VIP.

English

In this paper, we present Cross Language Agent -- Simultaneous Interpretation, CLASI, a high-quality and human-like Simultaneous Speech Translation (SiST) System. Inspired by professional human interpreters, we utilize a novel data-driven read-write strategy to balance the translation quality and latency. To address the challenge of translating in-domain terminologies, CLASI employs a multi-modal retrieving module to obtain relevant information to augment the translation. Supported by LLMs, our approach can generate error-tolerated translation by considering the input audio, historical context, and retrieved information. Experimental results show that our system outperforms other systems by significant margins. Aligned with professional human interpreters, we evaluate CLASI with a better human evaluation metric, valid information proportion (VIP), which measures the amount of information that can be successfully conveyed to the listeners. In the real-world scenarios, where the speeches are often disfluent, informal, and unclear, CLASI achieves VIP of 81.3% and 78.0% for Chinese-to-English and English-to-Chinese translation directions, respectively. In contrast, state-of-the-art commercial or open-source systems only achieve 35.4% and 41.6%. On the extremely hard dataset, where other systems achieve under 13% VIP, CLASI can still achieve 70% VIP.