私の言うことを実行せよ：指示追従のための音声プロンプトデータセット

要旨

音声大規模言語モデル（SLLM）は急速に発展し、多様なタスクをサポートするようになってきている。これらのモデルは通常、テキストプロンプトを用いて評価されるが、これは実際のユーザーが音声で対話する現実のシナリオを反映していない可能性がある。この隔たりを埋めるため、我々はDoWhatISay（DOWIS）を提案する。これは、既存のあらゆるベンチマークと組み合わせて、音声指示条件下でのSLLMの現実的な評価を可能にする、人間が録音した音声および文書プロンプトからなる多言語データセットである。9つのタスクと11の言語を網羅し、タスクと言語の各組み合わせに対して、5つのスタイルにわたる10種類のプロンプト変種を提供する。DOWISを用いて、我々は最先端のSLLMをベンチマークし、プロンプトのモダリティ（様式）、スタイル、言語、タスクタイプの相互関係を分析した。結果は、特に低リソース環境およびクロスリンガル環境において、テキストプロンプトが一貫して音声プロンプトを上回ることを示した。音声出力を伴うタスクに限って、音声プロンプトはこの差を縮め、SLLM評価における音声ベースのプロンプトの必要性が浮き彫りとなった。

English

Speech Large Language Models (SLLMs) have rapidly expanded, supporting a wide range of tasks. These models are typically evaluated using text prompts, which may not reflect real-world scenarios where users interact with speech. To address this gap, we introduce DoWhatISay (DOWIS), a multilingual dataset of human-recorded spoken and written prompts designed to pair with any existing benchmark for realistic evaluation of SLLMs under spoken instruction conditions. Spanning 9 tasks and 11 languages, it provides 10 prompt variants per task-language pair, across five styles. Using DOWIS, we benchmark state-of-the-art SLLMs, analyzing the interplay between prompt modality, style, language, and task type. Results show that text prompts consistently outperform spoken prompts, particularly for low-resource and cross-lingual settings. Only for tasks with speech output, spoken prompts do close the gap, highlighting the need for speech-based prompting in SLLM evaluation.

私の言うことを実行せよ：指示追従のための音声プロンプトデータセット

Do What I Say: A Spoken Prompt Dataset for Instruction-Following

要旨

Support