Design de Interface para Modelos de Fala Autossupervisionados

Interface Design for Self-Supervised Speech Models

June 18, 2024

Autores: Yi-Jen Shih, David Harwath

cs.AI

Resumo

Modelos de fala auto-supervisionados (SSL, do inglês Self-Supervised Learning) têm sido amplamente adotados recentemente para diversas tarefas de processamento de fala. O padrão geral de uso é empregar modelos SSL como extratores de características e, em seguida, treinar uma cabeça de predição específica para resolver uma tarefa particular. No entanto, foi demonstrado que diferentes camadas dos modelos SSL capturam diferentes tipos de informação, e os métodos para combiná-las não são bem estudados. Para isso, estendemos o framework geral de utilização de modelos SSL propondo uma interface que conecta o upstream (modelo pré-treinado) e o downstream (tarefa específica). Sob essa perspectiva, a técnica dominante de combinar características por meio de uma soma ponderada por camada pode ser vista como uma interface específica. Propomos vários designs alternativos de interface e demonstramos que a interface de soma ponderada é subótima para muitas tarefas. Em particular, mostramos que uma interface convolucional cuja profundidade escala logaritmicamente com a profundidade do modelo upstream supera consistentemente muitos outros designs de interface.

English

Self-supervised speech (SSL) models have recently become widely adopted for many downstream speech processing tasks. The general usage pattern is to employ SSL models as feature extractors, and then train a downstream prediction head to solve a specific task. However, different layers of SSL models have been shown to capture different types of information, and the methods of combining them are not well studied. To this end, we extend the general framework for SSL model utilization by proposing the interface that connects the upstream and downstream. Under this view, the dominant technique of combining features via a layerwise weighted sum can be regarded as a specific interface. We propose several alternative interface designs and demonstrate that the weighted sum interface is suboptimal for many tasks. In particular, we show that a convolutional interface whose depth scales logarithmically with the depth of the upstream model consistently outperforms many other interface designs.