Reconnaissance de la parole audio-visuelle adaptative via des modèles de langage multimodaux basés sur Matryoshka

Adaptive Audio-Visual Speech Recognition via Matryoshka-Based Multimodal LLMs

March 9, 2025

Auteurs: Umberto Cappellazzo, Minsu Kim, Stavros Petridis

cs.AI

Résumé

La reconnaissance audio-visuelle de la parole (AVSR) exploite à la fois les modalités audio et visuelles pour renforcer la robustesse de la reconnaissance vocale, en particulier dans des environnements bruyants. Les récents progrès des modèles de langage de grande taille (LLMs) ont démontré leur efficacité dans la reconnaissance vocale, y compris l'AVSR. Cependant, en raison de la longueur significative des représentations de la parole, leur intégration directe avec les LLMs impose des coûts de calcul substantiels. Les approches précédentes traitent ce problème en compressant les représentations de la parole avant de les fournir aux LLMs. Cependant, des taux de compression plus élevés entraînent souvent une dégradation des performances, nécessitant un compromis entre l'efficacité computationnelle et la précision de la reconnaissance. Pour relever ce défi, nous proposons Llama-MTSK, le premier LLM multimodal basé sur Matryoshka pour l'AVSR, qui permet une adaptation flexible de l'allocation des tokens audio-visuels en fonction de contraintes computationnelles spécifiques tout en préservant des performances élevées. Notre approche, inspirée par l'apprentissage de représentations Matryoshka, encode les représentations audio-visuelles à plusieurs granularités au sein d'un seul modèle, éliminant ainsi la nécessité d'entraîner des modèles distincts pour différents niveaux de compression. De plus, pour affiner efficacement le LLM, nous introduisons trois stratégies Matryoshka basées sur LoRA utilisant des modules LoRA globaux et spécifiques à l'échelle. Des évaluations approfondies sur les deux plus grands ensembles de données AVSR montrent que Llama-MTSK atteint des résultats de pointe, égalant ou surpassant les modèles entraînés indépendamment à des niveaux de compression fixes.

English

Audio-Visual Speech Recognition (AVSR) leverages both audio and visual modalities to enhance speech recognition robustness, particularly in noisy environments. Recent advancements in Large Language Models (LLMs) have demonstrated their effectiveness in speech recognition, including AVSR. However, due to the significant length of speech representations, direct integration with LLMs imposes substantial computational costs. Prior approaches address this by compressing speech representations before feeding them into LLMs. However, higher compression ratios often lead to performance degradation, necessitating a trade-off between computational efficiency and recognition accuracy. To address this challenge, we propose Llama-MTSK, the first Matryoshka-based Multimodal LLM for AVSR, which enables flexible adaptation of the audio-visual token allocation based on specific computational constraints while preserving high performance. Our approach, inspired by Matryoshka Representation Learning, encodes audio-visual representations at multiple granularities within a single model, eliminating the need to train separate models for different compression levels. Moreover, to efficiently fine-tune the LLM, we introduce three LoRA-based Matryoshka strategies using global and scale-specific LoRA modules. Extensive evaluations on the two largest AVSR datasets demonstrate that Llama-MTSK achieves state-of-the-art results, matching or surpassing models trained independently at fixed compression levels.