自己教師あり音声モデルのためのインターフェース設計

Interface Design for Self-Supervised Speech Models

June 18, 2024

著者: Yi-Jen Shih, David Harwath

cs.AI

要旨

自己教師あり音声（SSL）モデルは、近年多くの下流音声処理タスクで広く採用されるようになりました。一般的な使用パターンは、SSLモデルを特徴抽出器として利用し、特定のタスクを解決するために下流の予測ヘッドを訓練するというものです。しかし、SSLモデルの異なる層が異なる種類の情報を捕捉することが示されており、それらを組み合わせる方法は十分に研究されていません。この問題に対処するため、我々は上流と下流を接続するインターフェースを提案することで、SSLモデル利用の一般的なフレームワークを拡張します。この観点から、層ごとの重み付き和を通じて特徴を組み合わせる主流の技術は、特定のインターフェースと見なすことができます。我々はいくつかの代替インターフェース設計を提案し、重み付き和インターフェースが多くのタスクにおいて最適でないことを示します。特に、上流モデルの深さに対数スケールで深さが変化する畳み込みインターフェースが、他の多くのインターフェース設計を一貫して上回ることを実証します。

English

Self-supervised speech (SSL) models have recently become widely adopted for many downstream speech processing tasks. The general usage pattern is to employ SSL models as feature extractors, and then train a downstream prediction head to solve a specific task. However, different layers of SSL models have been shown to capture different types of information, and the methods of combining them are not well studied. To this end, we extend the general framework for SSL model utilization by proposing the interface that connects the upstream and downstream. Under this view, the dominant technique of combining features via a layerwise weighted sum can be regarded as a specific interface. We propose several alternative interface designs and demonstrate that the weighted sum interface is suboptimal for many tasks. In particular, we show that a convolutional interface whose depth scales logarithmically with the depth of the upstream model consistently outperforms many other interface designs.