Riconoscimento Adattivo del Parlato Audio-Visivo tramite Modelli Multimodali LLM Basati su Matryoshka

Adaptive Audio-Visual Speech Recognition via Matryoshka-Based Multimodal LLMs

March 9, 2025

Autori: Umberto Cappellazzo, Minsu Kim, Stavros Petridis

cs.AI

Abstract

Il riconoscimento del parlato audio-visivo (AVSR) sfrutta sia le modalità audio che visive per migliorare la robustezza del riconoscimento vocale, specialmente in ambienti rumorosi. I recenti progressi nei Modelli Linguistici di Grande Dimensione (LLM) hanno dimostrato la loro efficacia nel riconoscimento vocale, incluso l'AVSR. Tuttavia, a causa della lunghezza significativa delle rappresentazioni del parlato, l'integrazione diretta con gli LLM comporta costi computazionali sostanziali. Approcci precedenti affrontano questo problema comprimendo le rappresentazioni del parlato prima di inserirle negli LLM. Tuttavia, rapporti di compressione più elevati spesso portano a un degrado delle prestazioni, rendendo necessario un compromesso tra efficienza computazionale e accuratezza del riconoscimento. Per affrontare questa sfida, proponiamo Llama-MTSK, il primo LLM multimodale basato su Matryoshka per l'AVSR, che consente un adattamento flessibile dell'allocazione dei token audio-visivi in base a specifici vincoli computazionali, preservando al contempo alte prestazioni. Il nostro approccio, ispirato dall'apprendimento delle rappresentazioni Matryoshka, codifica le rappresentazioni audio-visive a più livelli di granularità all'interno di un unico modello, eliminando la necessità di addestrare modelli separati per diversi livelli di compressione. Inoltre, per ottimizzare efficacemente l'LLM, introduciamo tre strategie Matryoshka basate su LoRA utilizzando moduli LoRA globali e specifici per scala. Valutazioni estensive sui due più grandi dataset AVSR dimostrano che Llama-MTSK raggiunge risultati all'avanguardia, eguagliando o superando modelli addestrati in modo indipendente a livelli di compressione fissi.

English

Audio-Visual Speech Recognition (AVSR) leverages both audio and visual modalities to enhance speech recognition robustness, particularly in noisy environments. Recent advancements in Large Language Models (LLMs) have demonstrated their effectiveness in speech recognition, including AVSR. However, due to the significant length of speech representations, direct integration with LLMs imposes substantial computational costs. Prior approaches address this by compressing speech representations before feeding them into LLMs. However, higher compression ratios often lead to performance degradation, necessitating a trade-off between computational efficiency and recognition accuracy. To address this challenge, we propose Llama-MTSK, the first Matryoshka-based Multimodal LLM for AVSR, which enables flexible adaptation of the audio-visual token allocation based on specific computational constraints while preserving high performance. Our approach, inspired by Matryoshka Representation Learning, encodes audio-visual representations at multiple granularities within a single model, eliminating the need to train separate models for different compression levels. Moreover, to efficiently fine-tune the LLM, we introduce three LoRA-based Matryoshka strategies using global and scale-specific LoRA modules. Extensive evaluations on the two largest AVSR datasets demonstrate that Llama-MTSK achieves state-of-the-art results, matching or surpassing models trained independently at fixed compression levels.