Adaptieve Audio-Visuele Spraakherkenning via Matryoshka-Gebaseerde Multimodale LLM's

Adaptive Audio-Visual Speech Recognition via Matryoshka-Based Multimodal LLMs

March 9, 2025

Auteurs: Umberto Cappellazzo, Minsu Kim, Stavros Petridis

cs.AI

Samenvatting

Audio-Visual Speech Recognition (AVSR) maakt gebruik van zowel audio- als visuele modaliteiten om de robuustheid van spraakherkenning te verbeteren, met name in rumoerige omgevingen. Recente vooruitgang in Large Language Models (LLM's) heeft hun effectiviteit in spraakherkenning, inclusief AVSR, aangetoond. Vanwege de aanzienlijke lengte van spraakrepresentaties brengt directe integratie met LLM's echter aanzienlijke rekenkosten met zich mee. Eerdere benaderingen pakken dit aan door spraakrepresentaties te comprimeren voordat ze in LLM's worden gevoerd. Hogere compressieverhoudingen leiden echter vaak tot prestatieverlies, wat een afweging tussen rekenkundige efficiëntie en herkenningsnauwkeurigheid noodzakelijk maakt. Om deze uitdaging aan te pakken, stellen we Llama-MTSK voor, de eerste Matryoshka-gebaseerde Multimodale LLM voor AVSR, die een flexibele aanpassing van de audio-visuele tokenallocatie mogelijk maakt op basis van specifieke rekenkundige beperkingen, terwijl een hoge prestatieniveau behouden blijft. Onze aanpak, geïnspireerd door Matryoshka Representation Learning, codeert audio-visuele representaties op meerdere granulariteiten binnen een enkel model, waardoor de noodzaak om aparte modellen te trainen voor verschillende compressieniveaus wordt geëlimineerd. Bovendien introduceren we, om de LLM efficiënt te fine-tunen, drie LoRA-gebaseerde Matryoshka-strategieën met behulp van globale en schaalspecifieke LoRA-modules. Uitgebreide evaluaties op de twee grootste AVSR-datasets tonen aan dat Llama-MTSK state-of-the-art resultaten behaalt, die overeenkomen met of zelfs beter zijn dan modellen die onafhankelijk zijn getraind op vaste compressieniveaus.

English

Audio-Visual Speech Recognition (AVSR) leverages both audio and visual modalities to enhance speech recognition robustness, particularly in noisy environments. Recent advancements in Large Language Models (LLMs) have demonstrated their effectiveness in speech recognition, including AVSR. However, due to the significant length of speech representations, direct integration with LLMs imposes substantial computational costs. Prior approaches address this by compressing speech representations before feeding them into LLMs. However, higher compression ratios often lead to performance degradation, necessitating a trade-off between computational efficiency and recognition accuracy. To address this challenge, we propose Llama-MTSK, the first Matryoshka-based Multimodal LLM for AVSR, which enables flexible adaptation of the audio-visual token allocation based on specific computational constraints while preserving high performance. Our approach, inspired by Matryoshka Representation Learning, encodes audio-visual representations at multiple granularities within a single model, eliminating the need to train separate models for different compression levels. Moreover, to efficiently fine-tune the LLM, we introduce three LoRA-based Matryoshka strategies using global and scale-specific LoRA modules. Extensive evaluations on the two largest AVSR datasets demonstrate that Llama-MTSK achieves state-of-the-art results, matching or surpassing models trained independently at fixed compression levels.