Дизайн интерфейса для моделей самообучения речи.

Interface Design for Self-Supervised Speech Models

June 18, 2024

Авторы: Yi-Jen Shih, David Harwath

cs.AI

Аннотация

Модели самообучения речи (SSL) в последнее время стали широко применяться для многих последующих задач обработки речи. Обычная практика заключается в использовании моделей SSL в качестве извлекателей признаков, а затем обучении предсказательной головы для решения конкретной задачи. Однако различные слои моделей SSL показали способность захватывать разные типы информации, и методы их комбинирования пока недостаточно изучены. В этом контексте мы расширяем общую структуру использования модели SSL, предлагая интерфейс, который соединяет вход и выход. С точки зрения данного подхода, доминирующую технику комбинирования признаков через взвешенную сумму слоев можно рассматривать как конкретный интерфейс. Мы предлагаем несколько альтернативных дизайнов интерфейса и демонстрируем, что интерфейс взвешенной суммы является неоптимальным для многих задач. В частности, мы показываем, что сверточный интерфейс, глубина которого масштабируется логарифмически с глубиной входной модели, последовательно превосходит многие другие дизайны интерфейса.

English

Self-supervised speech (SSL) models have recently become widely adopted for many downstream speech processing tasks. The general usage pattern is to employ SSL models as feature extractors, and then train a downstream prediction head to solve a specific task. However, different layers of SSL models have been shown to capture different types of information, and the methods of combining them are not well studied. To this end, we extend the general framework for SSL model utilization by proposing the interface that connects the upstream and downstream. Under this view, the dominant technique of combining features via a layerwise weighted sum can be regarded as a specific interface. We propose several alternative interface designs and demonstrate that the weighted sum interface is suboptimal for many tasks. In particular, we show that a convolutional interface whose depth scales logarithmically with the depth of the upstream model consistently outperforms many other interface designs.