Aprendendo a Inferir Adaptativamente para Modelos de Linguagem Multimodais de Grande Escala

Learning to Inference Adaptively for Multimodal Large Language Models

March 13, 2025

Autores: Zhuoyan Xu, Khoi Duc Nguyen, Preeti Mukherjee, Saurabh Bagchi, Somali Chaterji, Yingyu Liang, Yin Li

cs.AI

Resumo

Modelos de Linguagem Multimodais de Grande Escala (MLLMs) têm demonstrado capacidades impressionantes em raciocínio, mas vêm com um custo computacional substancial, limitando sua implantação em ambientes com recursos restritos. Apesar dos esforços recentes para melhorar a eficiência dos MLLMs, as soluções anteriores não conseguem responder adequadamente às condições variáveis de tempo de execução, em particular à mudança na disponibilidade de recursos (por exemplo, contenção devido à execução de outros programas no dispositivo). Para preencher essa lacuna, apresentamos o AdaLLaVA, um framework de inferência adaptativa que aprende a reconfigurar dinamicamente as operações em um MLLM durante a inferência, considerando os dados de entrada e um orçamento de latência. Realizamos experimentos extensos em benchmarks envolvendo questionamento, raciocínio e alucinação. Nossos resultados mostram que o AdaLLaVA adere efetivamente ao orçamento de latência de entrada, alcançando diferentes compensações entre precisão e latência em tempo de execução. Além disso, demonstramos que o AdaLLaVA se adapta tanto à latência de entrada quanto ao conteúdo, pode ser integrado com seleção de tokens para maior eficiência e generaliza-se entre diferentes MLLMs. A página do nosso projeto com o lançamento do código está disponível em https://zhuoyan-xu.github.io/ada-llava/.

English

Multimodal Large Language Models (MLLMs) have shown impressive capabilities in reasoning, yet come with substantial computational cost, limiting their deployment in resource-constrained settings. Despite recent efforts on improving the efficiency of MLLMs, prior solutions fall short in responding to varying runtime conditions, in particular changing resource availability (e.g., contention due to the execution of other programs on the device). To bridge this gap, we introduce AdaLLaVA, an adaptive inference framework that learns to dynamically reconfigure operations in an MLLM during inference, accounting for the input data and a latency budget. We conduct extensive experiments across benchmarks involving question-answering, reasoning, and hallucination. Our results show that AdaLLaVA effectively adheres to input latency budget, achieving varying accuracy and latency tradeoffs at runtime. Further, we demonstrate that AdaLLaVA adapts to both input latency and content, can be integrated with token selection for enhanced efficiency, and generalizes across MLLMs. Our project webpage with code release is at https://zhuoyan-xu.github.io/ada-llava/.