「今、自分は何と言ったのか？——全二重音声モデルのための自己聴取」

要旨

全二重音声言語モデルは同時に聴取と発話を行うことができ、人間の会話における割り込みやあいづちに対処できる。しかし、テキスト生成、音声合成、音声再生は非同期に進行する。その結果、モデルが発話したと考えている内容は、実際にユーザーに再生された内容と一致しない可能性がある。我々は、モデルが実際に再生した音声を認識しながら割り込みから復帰する問題をアンカー割り込みと呼ぶ。この問題に対処するため、我々はSelf-Listeningを提案する。これは、ユーザ音声、モデルテキスト、およびモデルが再生した音声をインターリーブする全二重モデリング手法である。実際に再生された音声出力を入力ストリームとしてモデルにフィードバックすることにより、Self-Listeningは割り込みからの復帰を、ユーザーが実際に聞いた内容に基づかせる。さらに我々はAnchorSpeechを導入する。これは、構造化された順序付き応答のどの項目が実際に発話されたかを追跡するための、均質な訓練用およびテスト用分割を備えたコレクションである。AnchorSpeech-testは、モデルが割り込み前に最後に完了した項目と一貫して応答できるかを評価する。実験により、全二重ベースラインと比較して、Self-Listening機構を備えたモデルがより優れたアンカリング性能を達成することが示された。

English

Full-duplex spoken language models can listen and speak simultaneously, enabling them to handle interruptions and backchannels in human conversation. However, text generation, speech synthesis, and audio playback proceed asynchronously. As a result, what a model believes it has said may not match what has actually been played to the user. We refer to the problem of recovering from an interruption while remaining aware of the model's realized speech as anchor interruption. To address this problem, we propose Self-Listening, a full-duplex modeling approach that interleaves user speech, model text, and the model's played speech. By feeding the realized speech output back to the model as an input stream, self-listening grounds interruption recovery in what the user has actually heard. We further introduce AnchorSpeech, a collection with homogeneous training and test splits for tracking which items of structured ordered responses have actually been spoken. AnchorSpeech-test evaluates whether a model can respond consistently with the last completed item before an interruption. Experiments show that, compared with full-duplex baselines, models equipped with self-listening mechanism achieve better anchoring performance.