Rumo à Conquista da Paridade Humana na Tradução de Fala Simultânea de Ponta a Ponta por meio do Agente LLM

Towards Achieving Human Parity on End-to-end Simultaneous Speech Translation via LLM Agent

July 31, 2024

Autores: Shanbo Cheng, Zhichao Huang, Tom Ko, Hang Li, Ningxin Peng, Lu Xu, Qini Zhang

cs.AI

Resumo

Neste artigo, apresentamos o Cross Language Agent - Simultaneous Interpretation, CLASI, um Sistema de Tradução de Fala Simultânea (SiST) de alta qualidade e semelhante ao humano. Inspirado por intérpretes humanos profissionais, utilizamos uma estratégia inovadora de leitura e escrita orientada por dados para equilibrar a qualidade da tradução e a latência. Para lidar com o desafio de traduzir terminologias específicas de um domínio, o CLASI emprega um módulo de recuperação multi-modal para obter informações relevantes que auxiliem na tradução. Com o suporte de LLMs, nossa abordagem pode gerar traduções tolerantes a erros considerando o áudio de entrada, contexto histórico e informações recuperadas. Resultados experimentais mostram que nosso sistema supera significativamente outros sistemas. Em conformidade com intérpretes humanos profissionais, avaliamos o CLASI com uma métrica de avaliação humana melhor, a proporção de informação válida (VIP), que mede a quantidade de informação que pode ser transmitida com sucesso aos ouvintes. Em cenários do mundo real, onde os discursos são frequentemente disfluentes, informais e pouco claros, o CLASI alcança VIP de 81,3% e 78,0% para as direções de tradução Chinês-Inglês e Inglês-Chinês, respectivamente. Em contraste, sistemas comerciais ou de código aberto de ponta alcançam apenas 35,4% e 41,6%. Em um conjunto de dados extremamente desafiador, onde outros sistemas alcançam menos de 13% de VIP, o CLASI ainda consegue atingir 70% de VIP.

English

In this paper, we present Cross Language Agent -- Simultaneous Interpretation, CLASI, a high-quality and human-like Simultaneous Speech Translation (SiST) System. Inspired by professional human interpreters, we utilize a novel data-driven read-write strategy to balance the translation quality and latency. To address the challenge of translating in-domain terminologies, CLASI employs a multi-modal retrieving module to obtain relevant information to augment the translation. Supported by LLMs, our approach can generate error-tolerated translation by considering the input audio, historical context, and retrieved information. Experimental results show that our system outperforms other systems by significant margins. Aligned with professional human interpreters, we evaluate CLASI with a better human evaluation metric, valid information proportion (VIP), which measures the amount of information that can be successfully conveyed to the listeners. In the real-world scenarios, where the speeches are often disfluent, informal, and unclear, CLASI achieves VIP of 81.3% and 78.0% for Chinese-to-English and English-to-Chinese translation directions, respectively. In contrast, state-of-the-art commercial or open-source systems only achieve 35.4% and 41.6%. On the extremely hard dataset, where other systems achieve under 13% VIP, CLASI can still achieve 70% VIP.