Leren om adaptief te redeneren voor multimodale grote taalmodellen

Learning to Inference Adaptively for Multimodal Large Language Models

March 13, 2025

Auteurs: Zhuoyan Xu, Khoi Duc Nguyen, Preeti Mukherjee, Saurabh Bagchi, Somali Chaterji, Yingyu Liang, Yin Li

cs.AI

Samenvatting

Multimodale Large Language Models (MLLMs) hebben indrukwekkende mogelijkheden getoond op het gebied van redeneren, maar gaan gepaard met aanzienlijke rekenkosten, wat hun inzet in omgevingen met beperkte middelen beperkt. Ondanks recente inspanningen om de efficiëntie van MLLMs te verbeteren, schieten eerdere oplossingen tekort in het reageren op wisselende runtime-omstandigheden, met name veranderende beschikbaarheid van middelen (bijvoorbeeld concurrentie door de uitvoering van andere programma's op het apparaat). Om deze kloof te overbruggen, introduceren we AdaLLaVA, een adaptief inferentiekader dat leert om tijdens de inferentie operaties in een MLLM dynamisch te herconfigureren, rekening houdend met de invoergegevens en een latentiebudget. We voeren uitgebreide experimenten uit over benchmarks die betrekking hebben op vraag-antwoord, redeneren en hallucinatie. Onze resultaten tonen aan dat AdaLLaVA effectief voldoet aan het invoerlatentiebudget, waarbij verschillende nauwkeurigheids- en latentieafwegingen tijdens runtime worden bereikt. Verder demonstreren we dat AdaLLaVA zich aanpast aan zowel invoerlatentie als -inhoud, kan worden geïntegreerd met tokenselectie voor verbeterde efficiëntie, en generaliseert over verschillende MLLMs. Onze projectwebpagina met code-release is te vinden op https://zhuoyan-xu.github.io/ada-llava/.

English

Multimodal Large Language Models (MLLMs) have shown impressive capabilities in reasoning, yet come with substantial computational cost, limiting their deployment in resource-constrained settings. Despite recent efforts on improving the efficiency of MLLMs, prior solutions fall short in responding to varying runtime conditions, in particular changing resource availability (e.g., contention due to the execution of other programs on the device). To bridge this gap, we introduce AdaLLaVA, an adaptive inference framework that learns to dynamically reconfigure operations in an MLLM during inference, accounting for the input data and a latency budget. We conduct extensive experiments across benchmarks involving question-answering, reasoning, and hallucination. Our results show that AdaLLaVA effectively adheres to input latency budget, achieving varying accuracy and latency tradeoffs at runtime. Further, we demonstrate that AdaLLaVA adapts to both input latency and content, can be integrated with token selection for enhanced efficiency, and generalizes across MLLMs. Our project webpage with code release is at https://zhuoyan-xu.github.io/ada-llava/.