LLM 에이전트를 통한 종단간 동시 음성 번역에서 인간 수준의 성능 달성 방향

Towards Achieving Human Parity on End-to-end Simultaneous Speech Translation via LLM Agent

July 31, 2024

저자: Shanbo Cheng, Zhichao Huang, Tom Ko, Hang Li, Ningxin Peng, Lu Xu, Qini Zhang

cs.AI

초록

본 논문에서는 고품질이면서 인간과 유사한 동시 통역(SiST) 시스템인 Cross Language Agent -- Simultaneous Interpretation(CLASI)를 소개한다. 전문 인간 통역사에서 영감을 받아, 우리는 번역 품질과 지연 시간 사이의 균형을 맞추기 위해 새로운 데이터 기반 읽기-쓰기 전략을 활용한다. 도메인 내 전문 용어 번역의 어려움을 해결하기 위해, CLASI는 다중 모드 검색 모듈을 사용하여 관련 정보를 획득하고 이를 번역에 활용한다. 대형 언어 모델(LLMs)의 지원을 받아, 우리의 접근 방식은 입력 오디오, 역사적 맥락, 그리고 검색된 정보를 고려하여 오류 허용 번역을 생성할 수 있다. 실험 결과는 우리 시스템이 다른 시스템들을 상당한 차이로 능가함을 보여준다. 전문 인간 통역사와 일치하게, 우리는 CLASI를 더 나은 인간 평가 지표인 유효 정보 비율(VIP)로 평가하며, 이는 청중에게 성공적으로 전달될 수 있는 정보의 양을 측정한다. 실제 시나리오에서, 연설이 종종 불완전하고 비공식적이며 불명확한 경우, CLASI는 중국어-영어와 영어-중국어 번역 방향에서 각각 81.3%와 78.0%의 VIP를 달성한다. 반면, 최신 상용 또는 오픈소스 시스템은 각각 35.4%와 41.6%만을 달성한다. 다른 시스템들이 13% 미만의 VIP를 달성하는 극도로 어려운 데이터셋에서도, CLASI는 여전히 70%의 VIP를 달성할 수 있다.

English

In this paper, we present Cross Language Agent -- Simultaneous Interpretation, CLASI, a high-quality and human-like Simultaneous Speech Translation (SiST) System. Inspired by professional human interpreters, we utilize a novel data-driven read-write strategy to balance the translation quality and latency. To address the challenge of translating in-domain terminologies, CLASI employs a multi-modal retrieving module to obtain relevant information to augment the translation. Supported by LLMs, our approach can generate error-tolerated translation by considering the input audio, historical context, and retrieved information. Experimental results show that our system outperforms other systems by significant margins. Aligned with professional human interpreters, we evaluate CLASI with a better human evaluation metric, valid information proportion (VIP), which measures the amount of information that can be successfully conveyed to the listeners. In the real-world scenarios, where the speeches are often disfluent, informal, and unclear, CLASI achieves VIP of 81.3% and 78.0% for Chinese-to-English and English-to-Chinese translation directions, respectively. In contrast, state-of-the-art commercial or open-source systems only achieve 35.4% and 41.6%. On the extremely hard dataset, where other systems achieve under 13% VIP, CLASI can still achieve 70% VIP.