Адаптивное аудиовизуальное распознавание речи с использованием мультимодальных языковых моделей на основе матрёшечной архитектуры

Adaptive Audio-Visual Speech Recognition via Matryoshka-Based Multimodal LLMs

March 9, 2025

Авторы: Umberto Cappellazzo, Minsu Kim, Stavros Petridis

cs.AI

Аннотация

Аудиовизуальное распознавание речи (AVSR) использует как аудио, так и визуальные модальности для повышения устойчивости распознавания речи, особенно в условиях шума. Последние достижения в области больших языковых моделей (LLM) продемонстрировали их эффективность в распознавании речи, включая AVSR. Однако из-за значительной длины речевых представлений прямое интегрирование с LLM влечет за собой существенные вычислительные затраты. Предыдущие подходы решают эту проблему путем сжатия речевых представлений перед их подачей в LLM. Однако более высокие коэффициенты сжатия часто приводят к снижению производительности, что требует компромисса между вычислительной эффективностью и точностью распознавания. Для решения этой задачи мы предлагаем Llama-MTSK, первую мультимодальную LLM на основе матрешки для AVSR, которая позволяет гибко адаптировать распределение аудиовизуальных токенов в зависимости от конкретных вычислительных ограничений, сохраняя при этом высокую производительность. Наш подход, вдохновленный обучением представлений по принципу матрешки, кодирует аудиовизуальные представления на нескольких уровнях детализации в рамках одной модели, устраняя необходимость обучения отдельных моделей для разных уровней сжатия. Кроме того, для эффективной тонкой настройки LLM мы предлагаем три стратегии на основе LoRA с использованием глобальных и масштабно-специфичных модулей LoRA. Обширные оценки на двух крупнейших наборах данных AVSR показывают, что Llama-MTSK достигает наилучших результатов, сопоставимых или превосходящих модели, обученные независимо на фиксированных уровнях сжатия.

English

Audio-Visual Speech Recognition (AVSR) leverages both audio and visual modalities to enhance speech recognition robustness, particularly in noisy environments. Recent advancements in Large Language Models (LLMs) have demonstrated their effectiveness in speech recognition, including AVSR. However, due to the significant length of speech representations, direct integration with LLMs imposes substantial computational costs. Prior approaches address this by compressing speech representations before feeding them into LLMs. However, higher compression ratios often lead to performance degradation, necessitating a trade-off between computational efficiency and recognition accuracy. To address this challenge, we propose Llama-MTSK, the first Matryoshka-based Multimodal LLM for AVSR, which enables flexible adaptation of the audio-visual token allocation based on specific computational constraints while preserving high performance. Our approach, inspired by Matryoshka Representation Learning, encodes audio-visual representations at multiple granularities within a single model, eliminating the need to train separate models for different compression levels. Moreover, to efficiently fine-tune the LLM, we introduce three LoRA-based Matryoshka strategies using global and scale-specific LoRA modules. Extensive evaluations on the two largest AVSR datasets demonstrate that Llama-MTSK achieves state-of-the-art results, matching or surpassing models trained independently at fixed compression levels.