Controllo di LLM multimodali tramite decodifica guidata da ricompense

Abstract

Man mano che i Modelli Linguistici Multimodali di Grande Scala (MLLM) acquisiscono un'applicabilità diffusa, diventa sempre più desiderabile adattarli a diverse esigenze degli utenti. In questo articolo, studiamo l'adattamento degli MLLM attraverso il decoding controllato. Per raggiungere questo obiettivo, introduciamo il primo metodo per il decoding guidato da ricompense degli MLLM e ne dimostriamo l'applicazione nel migliorare il loro grounding visivo. Il nostro metodo prevede la costruzione di modelli di ricompensa per il grounding visivo e il loro utilizzo per guidare il processo di decoding dell'MLLM. Nello specifico, costruiamo due modelli di ricompensa separati per controllare indipendentemente il grado di precisione e recall degli oggetti nell'output del modello. Il nostro approccio consente una controllabilità in tempo reale del processo di inferenza di un MLLM in due modi: primo, dando controllo sull'importanza relativa di ciascuna funzione di ricompensa durante il decoding, permettendo all'utente di bilanciare dinamicamente la precisione degli oggetti rispetto al recall nei task di descrizione delle immagini; secondo, dando controllo sull'ampiezza della ricerca durante il decoding, consentendo all'utente di gestire il compromesso tra la quantità di calcolo al momento del test e il grado di grounding visivo. Valutiamo il nostro metodo su benchmark standard per l'allucinazione di oggetti, dimostrando che fornisce una significativa controllabilità sull'inferenza degli MLLM, superando costantemente i metodi esistenti di mitigazione delle allucinazioni.

English

As Multimodal Large Language Models (MLLMs) gain widespread applicability, it is becoming increasingly desirable to adapt them for diverse user needs. In this paper, we study the adaptation of MLLMs through controlled decoding. To achieve this, we introduce the first method for reward-guided decoding of MLLMs and demonstrate its application in improving their visual grounding. Our method involves building reward models for visual grounding and using them to guide the MLLM's decoding process. Concretely, we build two separate reward models to independently control the degree of object precision and recall in the model's output. Our approach enables on-the-fly controllability of an MLLM's inference process in two ways: first, by giving control over the relative importance of each reward function during decoding, allowing a user to dynamically trade off object precision for recall in image captioning tasks; second, by giving control over the breadth of the search during decoding, allowing the user to control the trade-off between the amount of test-time compute and the degree of visual grounding. We evaluate our method on standard object hallucination benchmarks, showing that it provides significant controllability over MLLM inference, while consistently outperforming existing hallucination mitigation methods.

Controllo di LLM multimodali tramite decodifica guidata da ricompense

Controlling Multimodal LLMs via Reward-guided Decoding

Abstract

Support