Apprentissage de l'inférence adaptative pour les modèles de langage multimodaux de grande taille

Learning to Inference Adaptively for Multimodal Large Language Models

March 13, 2025

Auteurs: Zhuoyan Xu, Khoi Duc Nguyen, Preeti Mukherjee, Saurabh Bagchi, Somali Chaterji, Yingyu Liang, Yin Li

cs.AI

Résumé

Les modèles de langage multimodaux de grande taille (MLLMs) ont démontré des capacités impressionnantes en matière de raisonnement, mais ils s'accompagnent d'un coût computationnel substantiel, limitant leur déploiement dans des environnements aux ressources limitées. Malgré les récents efforts visant à améliorer l'efficacité des MLLMs, les solutions existantes ne parviennent pas à répondre aux conditions d'exécution variables, en particulier à la disponibilité changeante des ressources (par exemple, la contention due à l'exécution d'autres programmes sur l'appareil). Pour combler cette lacune, nous présentons AdaLLaVA, un cadre d'inférence adaptatif qui apprend à reconfigurer dynamiquement les opérations d'un MLLM pendant l'inférence, en tenant compte des données d'entrée et d'un budget de latence. Nous menons des expériences approfondies sur des benchmarks impliquant des questions-réponses, du raisonnement et des hallucinations. Nos résultats montrent qu'AdaLLaVA respecte efficacement le budget de latence d'entrée, atteignant divers compromis entre précision et latence en temps réel. De plus, nous démontrons qu'AdaLLaVA s'adapte à la fois à la latence et au contenu de l'entrée, peut être intégré à la sélection de tokens pour une efficacité accrue, et se généralise à travers différents MLLMs. Notre page web de projet avec le code est disponible à l'adresse suivante : https://zhuoyan-xu.github.io/ada-llava/.

English

Multimodal Large Language Models (MLLMs) have shown impressive capabilities in reasoning, yet come with substantial computational cost, limiting their deployment in resource-constrained settings. Despite recent efforts on improving the efficiency of MLLMs, prior solutions fall short in responding to varying runtime conditions, in particular changing resource availability (e.g., contention due to the execution of other programs on the device). To bridge this gap, we introduce AdaLLaVA, an adaptive inference framework that learns to dynamically reconfigure operations in an MLLM during inference, accounting for the input data and a latency budget. We conduct extensive experiments across benchmarks involving question-answering, reasoning, and hallucination. Our results show that AdaLLaVA effectively adheres to input latency budget, achieving varying accuracy and latency tradeoffs at runtime. Further, we demonstrate that AdaLLaVA adapts to both input latency and content, can be integrated with token selection for enhanced efficiency, and generalizes across MLLMs. Our project webpage with code release is at https://zhuoyan-xu.github.io/ada-llava/.