Обучение адаптивному выводу для мультимодальных больших языковых моделей

Learning to Inference Adaptively for Multimodal Large Language Models

March 13, 2025

Авторы: Zhuoyan Xu, Khoi Duc Nguyen, Preeti Mukherjee, Saurabh Bagchi, Somali Chaterji, Yingyu Liang, Yin Li

cs.AI

Аннотация

Мультимодальные большие языковые модели (MLLMs) демонстрируют впечатляющие способности в рассуждениях, однако их использование сопряжено с высокими вычислительными затратами, что ограничивает их применение в условиях ограниченных ресурсов. Несмотря на недавние усилия по повышению эффективности MLLMs, существующие решения не справляются с адаптацией к изменяющимся условиям выполнения, в частности к изменению доступности ресурсов (например, конкуренции из-за выполнения других программ на устройстве). Чтобы устранить этот пробел, мы представляем AdaLLaVA — адаптивную инфраструктуру вывода, которая обучается динамически перенастраивать операции в MLLM во время выполнения, учитывая входные данные и бюджет задержки. Мы провели обширные эксперименты на наборах данных, включающих задачи ответов на вопросы, рассуждения и выявления галлюцинаций. Наши результаты показывают, что AdaLLaVA эффективно соблюдает бюджет задержки для входных данных, достигая различных компромиссов между точностью и задержкой во время выполнения. Кроме того, мы демонстрируем, что AdaLLaVA адаптируется как к задержке входных данных, так и к их содержанию, может быть интегрирована с выбором токенов для повышения эффективности и обобщается на различные MLLMs. Страница нашего проекта с выпуском кода доступна по адресу https://zhuoyan-xu.github.io/ada-llava/.

English

Multimodal Large Language Models (MLLMs) have shown impressive capabilities in reasoning, yet come with substantial computational cost, limiting their deployment in resource-constrained settings. Despite recent efforts on improving the efficiency of MLLMs, prior solutions fall short in responding to varying runtime conditions, in particular changing resource availability (e.g., contention due to the execution of other programs on the device). To bridge this gap, we introduce AdaLLaVA, an adaptive inference framework that learns to dynamically reconfigure operations in an MLLM during inference, accounting for the input data and a latency budget. We conduct extensive experiments across benchmarks involving question-answering, reasoning, and hallucination. Our results show that AdaLLaVA effectively adheres to input latency budget, achieving varying accuracy and latency tradeoffs at runtime. Further, we demonstrate that AdaLLaVA adapts to both input latency and content, can be integrated with token selection for enhanced efficiency, and generalizes across MLLMs. Our project webpage with code release is at https://zhuoyan-xu.github.io/ada-llava/.