マルチモーダル大規模言語モデルのための適応的推論学習

Learning to Inference Adaptively for Multimodal Large Language Models

March 13, 2025

著者: Zhuoyan Xu, Khoi Duc Nguyen, Preeti Mukherjee, Saurabh Bagchi, Somali Chaterji, Yingyu Liang, Yin Li

cs.AI

要旨

マルチモーダル大規模言語モデル（MLLMs）は、推論において印象的な能力を示していますが、その計算コストが高く、リソースが制約された環境での展開が制限されています。MLLMsの効率性を向上させるための最近の取り組みにもかかわらず、既存のソリューションは、特にリソースの可用性の変化（例えば、デバイス上で実行される他のプログラムによる競合）に対応する点で不十分です。このギャップを埋めるため、我々はAdaLLaVAを導入します。これは、推論中にMLLMの操作を動的に再構成する適応型推論フレームワークであり、入力データとレイテンシ予算を考慮します。質問応答、推論、および幻覚を含むベンチマークで広範な実験を行いました。その結果、AdaLLaVAが入力レイテンシ予算に効果的に準拠し、実行時にさまざまな精度とレイテンシのトレードオフを達成することが示されました。さらに、AdaLLaVAが入力レイテンシと内容の両方に適応し、トークン選択と統合して効率を向上させ、MLLMs全体に一般化できることを実証しました。コードリリースを含むプロジェクトのウェブページはhttps://zhuoyan-xu.github.io/ada-llava/にあります。

English

Multimodal Large Language Models (MLLMs) have shown impressive capabilities in reasoning, yet come with substantial computational cost, limiting their deployment in resource-constrained settings. Despite recent efforts on improving the efficiency of MLLMs, prior solutions fall short in responding to varying runtime conditions, in particular changing resource availability (e.g., contention due to the execution of other programs on the device). To bridge this gap, we introduce AdaLLaVA, an adaptive inference framework that learns to dynamically reconfigure operations in an MLLM during inference, accounting for the input data and a latency budget. We conduct extensive experiments across benchmarks involving question-answering, reasoning, and hallucination. Our results show that AdaLLaVA effectively adheres to input latency budget, achieving varying accuracy and latency tradeoffs at runtime. Further, we demonstrate that AdaLLaVA adapts to both input latency and content, can be integrated with token selection for enhanced efficiency, and generalizes across MLLMs. Our project webpage with code release is at https://zhuoyan-xu.github.io/ada-llava/.