Control de LLMs Multimodales mediante Decodificación Guiada por Recompensas

Resumen

A medida que los Modelos de Lenguaje Multimodales de Gran Escala (MLLMs, por sus siglas en inglés) adquieren una aplicabilidad generalizada, resulta cada vez más deseable adaptarlos para satisfacer diversas necesidades de los usuarios. En este artículo, estudiamos la adaptación de los MLLMs mediante decodificación controlada. Para lograrlo, presentamos el primer método para la decodificación guiada por recompensas de MLLMs y demostramos su aplicación en la mejora de su anclaje visual. Nuestro método implica la construcción de modelos de recompensa para el anclaje visual y su uso para guiar el proceso de decodificación del MLLM. Concretamente, construimos dos modelos de recompensa separados para controlar de manera independiente el grado de precisión y recuperación de objetos en la salida del modelo. Nuestro enfoque permite una controlabilidad en tiempo real del proceso de inferencia de un MLLM de dos maneras: primero, otorgando control sobre la importancia relativa de cada función de recompensa durante la decodificación, lo que permite al usuario intercambiar dinámicamente precisión por recuperación de objetos en tareas de generación de subtítulos de imágenes; segundo, proporcionando control sobre la amplitud de la búsqueda durante la decodificación, permitiendo al usuario gestionar el equilibrio entre la cantidad de cómputo en tiempo de prueba y el grado de anclaje visual. Evaluamos nuestro método en benchmarks estándar de alucinación de objetos, demostrando que ofrece una controlabilidad significativa sobre la inferencia de MLLM, superando consistentemente los métodos existentes de mitigación de alucinaciones.

English

As Multimodal Large Language Models (MLLMs) gain widespread applicability, it is becoming increasingly desirable to adapt them for diverse user needs. In this paper, we study the adaptation of MLLMs through controlled decoding. To achieve this, we introduce the first method for reward-guided decoding of MLLMs and demonstrate its application in improving their visual grounding. Our method involves building reward models for visual grounding and using them to guide the MLLM's decoding process. Concretely, we build two separate reward models to independently control the degree of object precision and recall in the model's output. Our approach enables on-the-fly controllability of an MLLM's inference process in two ways: first, by giving control over the relative importance of each reward function during decoding, allowing a user to dynamically trade off object precision for recall in image captioning tasks; second, by giving control over the breadth of the search during decoding, allowing the user to control the trade-off between the amount of test-time compute and the degree of visual grounding. We evaluate our method on standard object hallucination benchmarks, showing that it provides significant controllability over MLLM inference, while consistently outperforming existing hallucination mitigation methods.

Control de LLMs Multimodales mediante Decodificación Guiada por Recompensas

Controlling Multimodal LLMs via Reward-guided Decoding

Resumen

Support