報酬誘導型デコーディングによるマルチモーダルLLMの制御

要旨

マルチモーダル大規模言語モデル（MLLMs）が広く適用されるにつれ、多様なユーザーニーズに適応させることがますます求められています。本論文では、制御されたデコーディングを通じてMLLMsを適応させる方法を研究します。これを実現するために、我々はMLLMsの報酬誘導デコーディングの最初の手法を導入し、その視覚的基盤を改善するための応用を示します。我々の手法は、視覚的基盤のための報酬モデルを構築し、それらを用いてMLLMのデコーディングプロセスを誘導することを含みます。具体的には、モデルの出力におけるオブジェクトの精度と再現率の度合いを独立して制御するために、2つの別々の報酬モデルを構築します。我々のアプローチは、MLLMの推論プロセスを2つの方法で即座に制御可能にします。第一に、デコーディング中に各報酬関数の相対的な重要性を制御することで、ユーザーが画像キャプションタスクにおいてオブジェクトの精度と再現率を動的にトレードオフできるようにします。第二に、デコーディング中の探索の幅を制御することで、ユーザーがテスト時の計算量と視覚的基盤の度合いの間のトレードオフを制御できるようにします。我々は、標準的なオブジェクト幻覚ベンチマークにおいて本手法を評価し、MLLM推論に対する有意な制御性を提供しつつ、既存の幻覚緩和手法を一貫して上回ることを示します。

English

As Multimodal Large Language Models (MLLMs) gain widespread applicability, it is becoming increasingly desirable to adapt them for diverse user needs. In this paper, we study the adaptation of MLLMs through controlled decoding. To achieve this, we introduce the first method for reward-guided decoding of MLLMs and demonstrate its application in improving their visual grounding. Our method involves building reward models for visual grounding and using them to guide the MLLM's decoding process. Concretely, we build two separate reward models to independently control the degree of object precision and recall in the model's output. Our approach enables on-the-fly controllability of an MLLM's inference process in two ways: first, by giving control over the relative importance of each reward function during decoding, allowing a user to dynamically trade off object precision for recall in image captioning tasks; second, by giving control over the breadth of the search during decoding, allowing the user to control the trade-off between the amount of test-time compute and the degree of visual grounding. We evaluate our method on standard object hallucination benchmarks, showing that it provides significant controllability over MLLM inference, while consistently outperforming existing hallucination mitigation methods.

報酬誘導型デコーディングによるマルチモーダルLLMの制御

Controlling Multimodal LLMs via Reward-guided Decoding

要旨

Support