大規模言語モデルを用いた超人的な音声理解に向けたロードマップ

Roadmap towards Superhuman Speech Understanding using Large Language Models

October 17, 2024

著者: Fan Bu, Yuhao Zhang, Xidong Wang, Benyou Wang, Qun Liu, Haizhou Li

cs.AI

要旨

大規模言語モデル（LLMs）の成功により、音声およびオーディオデータを統合し、テキストおよび非テキスト入力の両方を処理できる汎用基礎モデルを作成することを目指す取り組みが促進されています。GPT-4oなどの最近の進歩は、エンドツーエンドの音声LLMsの可能性を示し、非意味情報と世界知識を保持してより深い音声理解を可能にします。音声LLMsの開発を指針とするために、基本的な自動音声認識（ASR）から抽象的な音響知識と非意味情報を統合し、複雑なタスクに対応できる超人的モデルまでの5段階のロードマップを提案します。さらに、SAGIベンチマークという基準を設計し、これら5つの段階のさまざまなタスクにおける重要な側面を標準化し、抽象的な音響知識の使用や機能の完全性における課題を明らかにします。我々の調査結果は、パラ言語的手がかりや抽象的な音響知識の取り扱いにおけるギャップを明らかにし、将来の方向性を提案します。本論文は、音声LLMsの進化のためのロードマップを概説し、評価のためのベンチマークを紹介し、現在の制約と潜在性に関する重要な洞察を提供します。

English

The success of large language models (LLMs) has prompted efforts to integrate speech and audio data, aiming to create general foundation models capable of processing both textual and non-textual inputs. Recent advances, such as GPT-4o, highlight the potential for end-to-end speech LLMs, which preserves non-semantic information and world knowledge for deeper speech understanding. To guide the development of speech LLMs, we propose a five-level roadmap, ranging from basic automatic speech recognition (ASR) to advanced superhuman models capable of integrating non-semantic information with abstract acoustic knowledge for complex tasks. Moreover, we design a benchmark, SAGI Bechmark, that standardizes critical aspects across various tasks in these five levels, uncovering challenges in using abstract acoustic knowledge and completeness of capability. Our findings reveal gaps in handling paralinguistic cues and abstract acoustic knowledge, and we offer future directions. This paper outlines a roadmap for advancing speech LLMs, introduces a benchmark for evaluation, and provides key insights into their current limitations and potential.