내가 방금 뭐라고 했지? 전이중 음성 모델을 위한 자기 청취

초록

전이중(full-duplex) 음성 언어 모델은 동시에 듣고 말할 수 있어 인간 대화에서의 끼어들기와 백채널을 처리할 수 있다. 그러나 텍스트 생성, 음성 합성, 오디오 재생은 비동기적으로 진행된다. 그 결과, 모델이 자신이 말했다고 믿는 내용은 사용자에게 실제로 재생된 내용과 일치하지 않을 수 있다. 우리는 모델의 실현된 발화를 인지한 상태에서 끼어들기로부터 복구하는 문제를 앵커 인터럽션(anchor interruption)이라고 부른다. 이 문제를 해결하기 위해, 우리는 사용자 음성, 모델 텍스트, 모델이 재생한 음성을 인터리빙하는 전이중 모델링 접근법인 Self-Listening을 제안한다. 실현된 음성 출력을 입력 스트림으로 모델에 되먹임함으로써, Self-Listening은 끼어들기 복구를 사용자가 실제로 들은 내용에 기반하게 한다. 우리는 추가로 구조화된 순차 응답의 어떤 항목이 실제로 발화되었는지 추적하기 위한 동질적인 학습 및 테스트 분할을 가진 컬렉션인 AnchorSpeech를 소개한다. AnchorSpeech-test는 모델이 끼어들기 전 마지막으로 완료된 항목과 일관되게 응답할 수 있는지 평가한다. 실험은 전이중 베이스라인과 비교하여 Self-Listening 메커니즘을 갖춘 모델이 더 나은 앵커링 성능을 달성함을 보여준다.

English

Full-duplex spoken language models can listen and speak simultaneously, enabling them to handle interruptions and backchannels in human conversation. However, text generation, speech synthesis, and audio playback proceed asynchronously. As a result, what a model believes it has said may not match what has actually been played to the user. We refer to the problem of recovering from an interruption while remaining aware of the model's realized speech as anchor interruption. To address this problem, we propose Self-Listening, a full-duplex modeling approach that interleaves user speech, model text, and the model's played speech. By feeding the realized speech output back to the model as an input stream, self-listening grounds interruption recovery in what the user has actually heard. We further introduce AnchorSpeech, a collection with homogeneous training and test splits for tracking which items of structured ordered responses have actually been spoken. AnchorSpeech-test evaluates whether a model can respond consistently with the last completed item before an interruption. Experiments show that, compared with full-duplex baselines, models equipped with self-listening mechanism achieve better anchoring performance.