Conception d'Interface pour les Modèles de Parole Auto-Supervisés

Interface Design for Self-Supervised Speech Models

June 18, 2024

papers.authors: Yi-Jen Shih, David Harwath

cs.AI

papers.abstract

Les modèles de parole auto-supervisés (SSL) ont récemment été largement adoptés pour de nombreuses tâches de traitement de la parole en aval. Le schéma d'utilisation général consiste à employer ces modèles SSL comme extracteurs de caractéristiques, puis à entraîner une tête de prédiction en aval pour résoudre une tâche spécifique. Cependant, il a été démontré que différentes couches des modèles SSL capturent différents types d'informations, et les méthodes pour les combiner ne sont pas bien étudiées. Dans cette optique, nous étendons le cadre général d'utilisation des modèles SSL en proposant une interface qui connecte les parties amont et aval. Sous cet angle, la technique dominante de combinaison des caractéristiques via une somme pondérée par couche peut être considérée comme une interface spécifique. Nous proposons plusieurs conceptions alternatives d'interfaces et démontrons que l'interface par somme pondérée est sous-optimale pour de nombreuses tâches. En particulier, nous montrons qu'une interface convolutive dont la profondeur évolue logarithmiquement avec la profondeur du modèle amont surpasse systématiquement de nombreuses autres conceptions d'interfaces.

English

Self-supervised speech (SSL) models have recently become widely adopted for many downstream speech processing tasks. The general usage pattern is to employ SSL models as feature extractors, and then train a downstream prediction head to solve a specific task. However, different layers of SSL models have been shown to capture different types of information, and the methods of combining them are not well studied. To this end, we extend the general framework for SSL model utilization by proposing the interface that connects the upstream and downstream. Under this view, the dominant technique of combining features via a layerwise weighted sum can be regarded as a specific interface. We propose several alternative interface designs and demonstrate that the weighted sum interface is suboptimal for many tasks. In particular, we show that a convolutional interface whose depth scales logarithmically with the depth of the upstream model consistently outperforms many other interface designs.