Schnittstellengestaltung für selbstüberwachte Sprachmodelle

Interface Design for Self-Supervised Speech Models

June 18, 2024

Autoren: Yi-Jen Shih, David Harwath

cs.AI

Zusammenfassung

Selbstüberwachte Sprachmodelle (SSL) sind in letzter Zeit weit verbreitet für viele nachgelagerte Sprachverarbeitungsaufgaben eingesetzt worden. Das allgemeine Anwendungsmuster besteht darin, SSL-Modelle als Merkmalsextraktoren zu verwenden und dann einen nachgelagerten Vorhersagekopf zu trainieren, um eine spezifische Aufgabe zu lösen. Es wurde jedoch gezeigt, dass verschiedene Schichten von SSL-Modellen unterschiedliche Arten von Informationen erfassen, und die Methoden zu ihrer Kombination sind nicht gut untersucht. Zu diesem Zweck erweitern wir das allgemeine Rahmenwerk für die Nutzung von SSL-Modellen, indem wir die Schnittstelle vorschlagen, die das Upstream- und Downstream-Modell verbindet. Unter diesem Gesichtspunkt kann die dominante Technik der Kombination von Merkmalen über eine schichtweise gewichtete Summe als spezifische Schnittstelle betrachtet werden. Wir schlagen mehrere alternative Schnittstellendesigns vor und zeigen, dass die gewichtete Summenschnittstelle für viele Aufgaben suboptimal ist. Insbesondere zeigen wir, dass eine Faltungsschnittstelle, deren Tiefe logarithmisch mit der Tiefe des Upstream-Modells skaliert, konsistent viele andere Schnittstellendesigns übertrifft.

English

Self-supervised speech (SSL) models have recently become widely adopted for many downstream speech processing tasks. The general usage pattern is to employ SSL models as feature extractors, and then train a downstream prediction head to solve a specific task. However, different layers of SSL models have been shown to capture different types of information, and the methods of combining them are not well studied. To this end, we extend the general framework for SSL model utilization by proposing the interface that connects the upstream and downstream. Under this view, the dominant technique of combining features via a layerwise weighted sum can be regarded as a specific interface. We propose several alternative interface designs and demonstrate that the weighted sum interface is suboptimal for many tasks. In particular, we show that a convolutional interface whose depth scales logarithmically with the depth of the upstream model consistently outperforms many other interface designs.