ChatPaper.aiChatPaper

Управление мультимодальными языковыми моделями с помощью декодирования, направляемого вознаграждением

Controlling Multimodal LLMs via Reward-guided Decoding

August 15, 2025
Авторы: Oscar Mañas, Pierluca D'Oro, Koustuv Sinha, Adriana Romero-Soriano, Michal Drozdzal, Aishwarya Agrawal
cs.AI

Аннотация

По мере того как мультимодальные большие языковые модели (MLLMs) получают широкое применение, становится все более желательным адаптировать их для различных потребностей пользователей. В данной статье мы изучаем адаптацию MLLMs с помощью контролируемого декодирования. Для достижения этой цели мы представляем первый метод декодирования MLLMs с использованием вознаграждения и демонстрируем его применение для улучшения их визуальной привязки. Наш метод включает создание моделей вознаграждения для визуальной привязки и их использование для управления процессом декодирования MLLM. Конкретно, мы создаем две отдельные модели вознаграждения для независимого контроля степени точности и полноты объектов в выходных данных модели. Наш подход обеспечивает возможность динамического управления процессом вывода MLLM двумя способами: во-первых, предоставляя контроль над относительной важностью каждой функции вознаграждения во время декодирования, что позволяет пользователю динамически балансировать между точностью и полнотой объектов в задачах генерации подписей к изображениям; во-вторых, предоставляя контроль над широтой поиска во время декодирования, что позволяет пользователю управлять компромиссом между объемом вычислений во время тестирования и степенью визуальной привязки. Мы оцениваем наш метод на стандартных тестах на галлюцинации объектов, показывая, что он обеспечивает значительный контроль над выводом MLLM, при этом стабильно превосходя существующие методы снижения галлюцинаций.
English
As Multimodal Large Language Models (MLLMs) gain widespread applicability, it is becoming increasingly desirable to adapt them for diverse user needs. In this paper, we study the adaptation of MLLMs through controlled decoding. To achieve this, we introduce the first method for reward-guided decoding of MLLMs and demonstrate its application in improving their visual grounding. Our method involves building reward models for visual grounding and using them to guide the MLLM's decoding process. Concretely, we build two separate reward models to independently control the degree of object precision and recall in the model's output. Our approach enables on-the-fly controllability of an MLLM's inference process in two ways: first, by giving control over the relative importance of each reward function during decoding, allowing a user to dynamically trade off object precision for recall in image captioning tasks; second, by giving control over the breadth of the search during decoding, allowing the user to control the trade-off between the amount of test-time compute and the degree of visual grounding. We evaluate our method on standard object hallucination benchmarks, showing that it provides significant controllability over MLLM inference, while consistently outperforming existing hallucination mitigation methods.
PDF52August 18, 2025