Controlando LLMs Multimodais por meio de Decodagem Orientada por Recompensa

Controlling Multimodal LLMs via Reward-guided Decoding

August 15, 2025

Autores: Oscar Mañas, Pierluca D'Oro, Koustuv Sinha, Adriana Romero-Soriano, Michal Drozdzal, Aishwarya Agrawal

cs.AI

Resumo

À medida que os Modelos de Linguagem Multimodais de Grande Escala (MLLMs) ganham ampla aplicabilidade, torna-se cada vez mais desejável adaptá-los para diversas necessidades dos usuários. Neste artigo, estudamos a adaptação de MLLMs por meio de decodificação controlada. Para isso, introduzimos o primeiro método para decodificação guiada por recompensa de MLLMs e demonstramos sua aplicação na melhoria de sua fundamentação visual. Nosso método envolve a construção de modelos de recompensa para fundamentação visual e seu uso para guiar o processo de decodificação do MLLM. Concretamente, construímos dois modelos de recompensa separados para controlar independentemente o grau de precisão e recall de objetos na saída do modelo. Nossa abordagem permite a controlabilidade em tempo real do processo de inferência de um MLLM de duas maneiras: primeiro, ao dar controle sobre a importância relativa de cada função de recompensa durante a decodificação, permitindo que o usuário troque dinamicamente precisão por recall de objetos em tarefas de legendagem de imagens; segundo, ao dar controle sobre a amplitude da busca durante a decodificação, permitindo que o usuário controle a relação entre a quantidade de computação em tempo de teste e o grau de fundamentação visual. Avaliamos nosso método em benchmarks padrão de alucinação de objetos, mostrando que ele oferece uma controlabilidade significativa sobre a inferência de MLLMs, ao mesmo tempo em que supera consistentemente os métodos existentes de mitigação de alucinações.

English

As Multimodal Large Language Models (MLLMs) gain widespread applicability, it is becoming increasingly desirable to adapt them for diverse user needs. In this paper, we study the adaptation of MLLMs through controlled decoding. To achieve this, we introduce the first method for reward-guided decoding of MLLMs and demonstrate its application in improving their visual grounding. Our method involves building reward models for visual grounding and using them to guide the MLLM's decoding process. Concretely, we build two separate reward models to independently control the degree of object precision and recall in the model's output. Our approach enables on-the-fly controllability of an MLLM's inference process in two ways: first, by giving control over the relative importance of each reward function during decoding, allowing a user to dynamically trade off object precision for recall in image captioning tasks; second, by giving control over the breadth of the search during decoding, allowing the user to control the trade-off between the amount of test-time compute and the degree of visual grounding. We evaluate our method on standard object hallucination benchmarks, showing that it provides significant controllability over MLLM inference, while consistently outperforming existing hallucination mitigation methods.