Hacia la consecución de la paridad humana en la traducción de habla simultánea de extremo a extremo a través del Agente LLM.

Towards Achieving Human Parity on End-to-end Simultaneous Speech Translation via LLM Agent

July 31, 2024

Autores: Shanbo Cheng, Zhichao Huang, Tom Ko, Hang Li, Ningxin Peng, Lu Xu, Qini Zhang

cs.AI

Resumen

En este documento, presentamos Cross Language Agent - Simultaneous Interpretation, CLASI, un Sistema de Traducción de Habla Simultánea (SiST) de alta calidad y similar al humano. Inspirados por intérpretes humanos profesionales, utilizamos una estrategia novedosa de lectura-escritura basada en datos para equilibrar la calidad de la traducción y la latencia. Para abordar el desafío de traducir terminologías de dominio específico, CLASI emplea un módulo de recuperación multi-modal para obtener información relevante que mejore la traducción. Respaldado por LLMs, nuestro enfoque puede generar traducciones tolerantes a errores al considerar el audio de entrada, el contexto histórico y la información recuperada. Los resultados experimentales muestran que nuestro sistema supera significativamente a otros sistemas. En línea con intérpretes humanos profesionales, evaluamos CLASI con una métrica de evaluación humana mejorada, la proporción de información válida (VIP), que mide la cantidad de información que se puede transmitir con éxito a los oyentes. En escenarios del mundo real, donde los discursos suelen ser poco fluidos, informales e ininteligibles, CLASI logra un VIP del 81.3% y 78.0% para las direcciones de traducción de chino a inglés y de inglés a chino, respectivamente. En contraste, los sistemas comerciales o de código abierto de vanguardia solo logran un 35.4% y 41.6%. En el conjunto de datos extremadamente difícil, donde otros sistemas alcanzan un VIP inferior al 13%, CLASI aún puede lograr un 70% de VIP.

English

In this paper, we present Cross Language Agent -- Simultaneous Interpretation, CLASI, a high-quality and human-like Simultaneous Speech Translation (SiST) System. Inspired by professional human interpreters, we utilize a novel data-driven read-write strategy to balance the translation quality and latency. To address the challenge of translating in-domain terminologies, CLASI employs a multi-modal retrieving module to obtain relevant information to augment the translation. Supported by LLMs, our approach can generate error-tolerated translation by considering the input audio, historical context, and retrieved information. Experimental results show that our system outperforms other systems by significant margins. Aligned with professional human interpreters, we evaluate CLASI with a better human evaluation metric, valid information proportion (VIP), which measures the amount of information that can be successfully conveyed to the listeners. In the real-world scenarios, where the speeches are often disfluent, informal, and unclear, CLASI achieves VIP of 81.3% and 78.0% for Chinese-to-English and English-to-Chinese translation directions, respectively. In contrast, state-of-the-art commercial or open-source systems only achieve 35.4% and 41.6%. On the extremely hard dataset, where other systems achieve under 13% VIP, CLASI can still achieve 70% VIP.