Progettazione dell'Interfaccia per Modelli di Elaborazione del Linguaggio Auto-Supervisionati

Interface Design for Self-Supervised Speech Models

June 18, 2024

Autori: Yi-Jen Shih, David Harwath

cs.AI

Abstract

I modelli di auto-supervisione per il parlato (SSL) sono stati recentemente adottati ampiamente per molte attività di elaborazione del parlato downstream. Il modello di utilizzo generale prevede di impiegare i modelli SSL come estrattori di caratteristiche, per poi addestrare una testa di previsione downstream per risolvere un compito specifico. Tuttavia, è stato dimostrato che i diversi strati dei modelli SSL catturano diversi tipi di informazioni, e i metodi per combinarli non sono stati studiati a fondo. A tal fine, estendiamo il quadro generale per l'utilizzo dei modelli SSL proponendo l'interfaccia che collega la parte upstream e downstream. Da questa prospettiva, la tecnica dominante di combinare le caratteristiche tramite una somma ponderata per strati può essere considerata una specifica interfaccia. Proponiamo diverse alternative di progettazione dell'interfaccia e dimostriamo che l'interfaccia a somma ponderata è subottimale per molti compiti. In particolare, mostriamo che un'interfaccia convoluzionale la cui profondità scala logaritmicamente con la profondità del modello upstream supera costantemente molte altre progettazioni di interfaccia.

English

Self-supervised speech (SSL) models have recently become widely adopted for many downstream speech processing tasks. The general usage pattern is to employ SSL models as feature extractors, and then train a downstream prediction head to solve a specific task. However, different layers of SSL models have been shown to capture different types of information, and the methods of combining them are not well studied. To this end, we extend the general framework for SSL model utilization by proposing the interface that connects the upstream and downstream. Under this view, the dominant technique of combining features via a layerwise weighted sum can be regarded as a specific interface. We propose several alternative interface designs and demonstrate that the weighted sum interface is suboptimal for many tasks. In particular, we show that a convolutional interface whose depth scales logarithmically with the depth of the upstream model consistently outperforms many other interface designs.