Reconocimiento de Habla Audio-Visual Adaptativo mediante Modelos de Lenguaje Multimodales Basados en Matryoshka

Adaptive Audio-Visual Speech Recognition via Matryoshka-Based Multimodal LLMs

March 9, 2025

Autores: Umberto Cappellazzo, Minsu Kim, Stavros Petridis

cs.AI

Resumen

El Reconocimiento de Habla Audio-Visual (AVSR, por sus siglas en inglés) aprovecha tanto las modalidades de audio como visuales para mejorar la robustez del reconocimiento de habla, especialmente en entornos ruidosos. Los avances recientes en los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) han demostrado su eficacia en el reconocimiento de habla, incluyendo el AVSR. Sin embargo, debido a la longitud significativa de las representaciones de habla, la integración directa con los LLMs impone costos computacionales sustanciales. Enfoques previos abordan esto comprimiendo las representaciones de habla antes de alimentarlas a los LLMs. No obstante, tasas de compresión más altas a menudo conducen a una degradación del rendimiento, lo que requiere un equilibrio entre la eficiencia computacional y la precisión del reconocimiento. Para abordar este desafío, proponemos Llama-MTSK, el primer LLM multimodal basado en Matryoshka para AVSR, que permite una adaptación flexible de la asignación de tokens audio-visuales según restricciones computacionales específicas, manteniendo un alto rendimiento. Nuestro enfoque, inspirado en el Aprendizaje de Representaciones Matryoshka, codifica representaciones audio-visuales en múltiples niveles de granularidad dentro de un solo modelo, eliminando la necesidad de entrenar modelos separados para diferentes niveles de compresión. Además, para ajustar eficientemente el LLM, introducimos tres estrategias Matryoshka basadas en LoRA utilizando módulos LoRA globales y específicos de escala. Evaluaciones exhaustivas en los dos conjuntos de datos AVSR más grandes demuestran que Llama-MTSK alcanza resultados de vanguardia, igualando o superando a los modelos entrenados de manera independiente en niveles de compresión fijos.

English

Audio-Visual Speech Recognition (AVSR) leverages both audio and visual modalities to enhance speech recognition robustness, particularly in noisy environments. Recent advancements in Large Language Models (LLMs) have demonstrated their effectiveness in speech recognition, including AVSR. However, due to the significant length of speech representations, direct integration with LLMs imposes substantial computational costs. Prior approaches address this by compressing speech representations before feeding them into LLMs. However, higher compression ratios often lead to performance degradation, necessitating a trade-off between computational efficiency and recognition accuracy. To address this challenge, we propose Llama-MTSK, the first Matryoshka-based Multimodal LLM for AVSR, which enables flexible adaptation of the audio-visual token allocation based on specific computational constraints while preserving high performance. Our approach, inspired by Matryoshka Representation Learning, encodes audio-visual representations at multiple granularities within a single model, eliminating the need to train separate models for different compression levels. Moreover, to efficiently fine-tune the LLM, we introduce three LoRA-based Matryoshka strategies using global and scale-specific LoRA modules. Extensive evaluations on the two largest AVSR datasets demonstrate that Llama-MTSK achieves state-of-the-art results, matching or surpassing models trained independently at fixed compression levels.