Scalabilità e miglioramento degli LLM per AVSR: un approccio con miscela sparsa di proiettori

Scaling and Enhancing LLM-based AVSR: A Sparse Mixture of Projectors Approach

May 20, 2025

Autori: Umberto Cappellazzo, Minsu Kim, Stavros Petridis, Daniele Falavigna, Alessio Brutti

cs.AI

Abstract

Il riconoscimento audio-visivo del parlato (AVSR) migliora la robustezza in ambienti rumorosi integrando segnali visivi. Sebbene i recenti progressi integrino modelli linguistici di grandi dimensioni (LLM) nell'AVSR, il loro elevato costo computazionale ne ostacola l'implementazione in contesti con risorse limitate. Per affrontare questo problema, proponiamo Llama-SMoP, un LLM multimodale efficiente che utilizza un modulo Sparse Mixture of Projectors (SMoP) per scalare la capacità del modello senza aumentare i costi di inferenza. Incorporando proiettori a miscela di esperti (MoE) con gate sparsi, Llama-SMoP consente l'uso di LLM più piccoli mantenendo prestazioni elevate. Esploriamo tre configurazioni SMoP e dimostriamo che Llama-SMoP DEDR (Disjoint-Experts, Disjoint-Routers), che utilizza router ed esperti specifici per modalità, raggiunge prestazioni superiori nei compiti di ASR, VSR e AVSR. Studi di ablazione ne confermano l'efficacia nell'attivazione degli esperti, nella scalabilità e nella robustezza al rumore.

English

Audio-Visual Speech Recognition (AVSR) enhances robustness in noisy environments by integrating visual cues. While recent advances integrate Large Language Models (LLMs) into AVSR, their high computational cost hinders deployment in resource-constrained settings. To address this, we propose Llama-SMoP, an efficient Multimodal LLM that employs a Sparse Mixture of Projectors (SMoP) module to scale model capacity without increasing inference costs. By incorporating sparsely-gated mixture-of-experts (MoE) projectors, Llama-SMoP enables the use of smaller LLMs while maintaining strong performance. We explore three SMoP configurations and show that Llama-SMoP DEDR (Disjoint-Experts, Disjoint-Routers), which uses modality-specific routers and experts, achieves superior performance on ASR, VSR, and AVSR tasks. Ablation studies confirm its effectiveness in expert activation, scalability, and noise robustness.