К достижению человеческого уровня в энд-ту-энд одновременном переводе речи с помощью агента LLM.

Towards Achieving Human Parity on End-to-end Simultaneous Speech Translation via LLM Agent

July 31, 2024

Авторы: Shanbo Cheng, Zhichao Huang, Tom Ko, Hang Li, Ningxin Peng, Lu Xu, Qini Zhang

cs.AI

Аннотация

В данной статье мы представляем Cross Language Agent - Simultaneous Interpretation, CLASI, высококачественную и человекоподобную Систему одновременного перевода речи (SiST). Вдохновленные профессиональными человеческими переводчиками, мы используем новую стратегию чтения-записи на основе данных для балансировки качества перевода и задержки. Для решения проблемы перевода терминов в предметной области CLASI использует многомодульный модуль поиска для получения соответствующей информации для дополнения перевода. Поддерживаемый LLMs, наш подход может генерировать перевод с допуском ошибок, учитывая входной аудиофайл, исторический контекст и полученную информацию. Экспериментальные результаты показывают, что наша система превосходит другие системы значительно. В соответствии с профессиональными человеческими переводчиками, мы оцениваем CLASI с использованием лучшей метрики оценки человека, доля действительной информации (VIP), которая измеряет количество информации, которое может быть успешно передано слушателям. В реальных сценариях, где выступления часто нечеткие, неформальные и неясные, CLASI достигает VIP в размере 81,3% и 78,0% для направлений перевода с китайского на английский и с английского на китайский соответственно. В отличие от современных коммерческих или открытых систем, которые достигают только 35,4% и 41,6%, на крайне сложном наборе данных, где другие системы достигают менее 13% VIP, CLASI все равно может достичь 70% VIP.

English

In this paper, we present Cross Language Agent -- Simultaneous Interpretation, CLASI, a high-quality and human-like Simultaneous Speech Translation (SiST) System. Inspired by professional human interpreters, we utilize a novel data-driven read-write strategy to balance the translation quality and latency. To address the challenge of translating in-domain terminologies, CLASI employs a multi-modal retrieving module to obtain relevant information to augment the translation. Supported by LLMs, our approach can generate error-tolerated translation by considering the input audio, historical context, and retrieved information. Experimental results show that our system outperforms other systems by significant margins. Aligned with professional human interpreters, we evaluate CLASI with a better human evaluation metric, valid information proportion (VIP), which measures the amount of information that can be successfully conveyed to the listeners. In the real-world scenarios, where the speeches are often disfluent, informal, and unclear, CLASI achieves VIP of 81.3% and 78.0% for Chinese-to-English and English-to-Chinese translation directions, respectively. In contrast, state-of-the-art commercial or open-source systems only achieve 35.4% and 41.6%. On the extremely hard dataset, where other systems achieve under 13% VIP, CLASI can still achieve 70% VIP.