SimulU: 긴 형식의 동시 음성-음성 번역을 위한 학습 없는 정책

초록

동시 음성-음성 번역(SimulS2S)은 실시간 다국어 의사소통에 필수적이며 회의 및 스트리밍 플랫폼에 점점 더 통합되고 있습니다. 그럼에도 불구하고 SimulS2S는 연구에서 아직 충분히 탐구되지 않았으며, 현재 솔루션은 대부분 리소스 집약적인 학습 절차에 의존하고 짧은 형식의 미리 분할된 발화에서만 작동하여 연속 음성으로 일반화되지 못하는 경우가 많습니다. 이러한 격차를 해소하기 위해 우리는 장문 형식 SimulS2S를 위한 최초의 학습 불필요( training-free ) 정책인 SimulU를 제안합니다. SimulU는 사전 학습된 종단간(end-to-end) 모델의 교차 주의(cross-attention)를 활용하여 입력 기록과 출력 생성을 모두 규제하는 기록 관리 및 음성 출력 선택 전략을 채택합니다. 8개 언어의 MuST-C에 대한 평가 결과, SimulU는 강력한 캐스케이드 모델 대비 동등하거나 더 나은 품질-대기 시간 절충(trade-off)을 달성함을 보여줍니다. 별도의 특수 학습 필요성을 제거함으로써 SimulU는 현실적인 장문 시나리오에서 종단간 SimulS2S를 실현할 유망한 경로를 제시합니다.

English

Simultaneous speech-to-speech translation (SimulS2S) is essential for real-time multilingual communication, with increasing integration into meeting and streaming platforms. Despite this, SimulS2S remains underexplored in research, where current solutions often rely on resource-intensive training procedures and operate on short-form, pre-segmented utterances, failing to generalize to continuous speech. To bridge this gap, we propose SimulU, the first training-free policy for long-form SimulS2S. SimulU adopts history management and speech output selection strategies that exploit cross-attention in pre-trained end-to-end models to regulate both input history and output generation. Evaluations on MuST-C across 8 languages show that SimulU achieves a better or comparable quality-latency trade-off against strong cascaded models. By eliminating the need for ad-hoc training, SimulU offers a promising path to end-to-end SimulS2S in realistic, long-form scenarios.

SimulU: 긴 형식의 동시 음성-음성 번역을 위한 학습 없는 정책

SimulU: Training-free Policy for Long-form Simultaneous Speech-to-Speech Translation

초록

Support