Interface-ontwerp voor zelfgesuperviseerde spraakmodellen

Interface Design for Self-Supervised Speech Models

June 18, 2024

Auteurs: Yi-Jen Shih, David Harwath

cs.AI

Samenvatting

Zelfgesuperviseerde spraakmodellen (SSL) worden tegenwoordig veelvuldig ingezet voor diverse downstream spraakverwerkingstaken. Het gebruikelijke patroon is om SSL-modellen als feature extractors te gebruiken en vervolgens een downstream voorspellingskop te trainen om een specifieke taak op te lossen. Echter, is aangetoond dat verschillende lagen van SSL-modellen verschillende soorten informatie vastleggen, en de methoden om deze te combineren zijn nog niet goed onderzocht. Om deze reden breiden we het algemene raamwerk voor het gebruik van SSL-modellen uit door een interface voor te stellen die de upstream en downstream met elkaar verbindt. Vanuit dit perspectief kan de dominante techniek van het combineren van features via een gewogen som per laag worden gezien als een specifieke interface. We stellen verschillende alternatieve interface-ontwerpen voor en tonen aan dat de gewogen som interface voor veel taken suboptimaal is. In het bijzonder laten we zien dat een convolutionele interface waarvan de diepte logaritmisch schaalt met de diepte van het upstream model consistent beter presteert dan veel andere interface-ontwerpen.

English

Self-supervised speech (SSL) models have recently become widely adopted for many downstream speech processing tasks. The general usage pattern is to employ SSL models as feature extractors, and then train a downstream prediction head to solve a specific task. However, different layers of SSL models have been shown to capture different types of information, and the methods of combining them are not well studied. To this end, we extend the general framework for SSL model utilization by proposing the interface that connects the upstream and downstream. Under this view, the dominant technique of combining features via a layerwise weighted sum can be regarded as a specific interface. We propose several alternative interface designs and demonstrate that the weighted sum interface is suboptimal for many tasks. In particular, we show that a convolutional interface whose depth scales logarithmically with the depth of the upstream model consistently outperforms many other interface designs.