StressTest: あなたの音声言語モデルはストレスに耐えられるか？

StressTest: Can YOUR Speech LM Handle the Stress?

May 28, 2025

著者: Iddo Yosha, Gallil Maimon, Yossi Adi

cs.AI

要旨

文強勢とは、発話内の特定の単語に置かれる強調のことで、アイデアを際立たせたり対比させたり、新しい情報を導入するために用いられます。これは、明示的に述べられていない潜在的な意図を暗示するためによく使われます。最近の音声対応言語モデル（SLM）の進歩により、音声を直接処理することが可能になり、モデルは文字起こしを経ずに音声信号の豊かな情報にアクセスし、音声質問応答などの音声推論タスクを実行できるようになりました。文強勢が意味や話者の意図を形成する上で重要な役割を果たしているにもかかわらず、このようなモデルの評価や開発においてはほとんど注目されていません。本研究では、このギャップを埋めるため、StressTestというベンチマークを導入します。これは、文強勢パターンに基づいて発話文の解釈を区別するモデルの能力を評価するために特別に設計されたものです。いくつかの主要なSLMの性能を評価した結果、全体的な能力にもかかわらず、このようなタスクではパフォーマンスが低いことがわかりました。この制限を克服するため、新しい合成データ生成パイプラインを提案し、Stress17kというトレーニングセットを作成しました。これは、文強勢の変化によって暗示される意味の変化をシミュレートするものです。そして、この合成データセットでモデルを最適化することが、実世界の録音とよく一致し、SLMの効果的なファインチューニングを可能にすることを実証的に示します。結果は、我々のファインチューニングされたモデルStresSLMが、文強勢推論と検出タスクの両方において、既存のモデルを大きく上回ることを示唆しています。コード、モデル、データ、音声サンプルは、pages.cs.huji.ac.il/adiyoss-lab/stresstestで公開されています。

English

Sentence stress refers to emphasis, placed on specific words within a spoken utterance to highlight or contrast an idea, or to introduce new information. It is often used to imply an underlying intention that is not explicitly stated. Recent advances in speech-aware language models (SLMs) have enabled direct processing of audio, allowing models to bypass transcription and access the full richness of the speech signal and perform audio reasoning tasks such as spoken question answering. Despite the crucial role of sentence stress in shaping meaning and speaker intent, it remains largely overlooked in evaluation and development of such models. In this work, we address this gap by introducing StressTest, a benchmark specifically designed to evaluate a model's ability to distinguish between interpretations of spoken sentences based on the stress pattern. We assess the performance of several leading SLMs and find that, despite their overall capabilities, they perform poorly on such tasks. To overcome this limitation, we propose a novel synthetic data generation pipeline, and create Stress17k, a training set that simulates change of meaning implied by stress variation. Then, we empirically show that optimizing models with this synthetic dataset aligns well with real-world recordings and enables effective finetuning of SLMs. Results suggest, that our finetuned model, StresSLM, significantly outperforms existing models on both sentence stress reasoning and detection tasks. Code, models, data, and audio samples - pages.cs.huji.ac.il/adiyoss-lab/stresstest.