Оптимизация мультимодальных промптов: почему бы не использовать несколько модальностей для MLLM?

Multimodal Prompt Optimization: Why Not Leverage Multiple Modalities for MLLMs

October 10, 2025

Авторы: Yumin Choi, Dongki Kim, Jinheon Baek, Sung Ju Hwang

cs.AI

Аннотация

Крупные языковые модели (LLM) продемонстрировали впечатляющие успехи, а их мультимодальные расширения (MLLM) открывают дополнительные возможности для работы с изображениями, видео и другими модальностями, выходящими за рамки текста. Однако, несмотря на этот сдвиг, подходы к оптимизации промптов, разработанные для снижения нагрузки на ручное создание промптов и максимизации производительности, остаются ограниченными текстовой областью, что в конечном итоге сдерживает полный потенциал MLLM. Вдохновленные этим пробелом, мы вводим новую задачу мультимодальной оптимизации промптов, которая расширяет предыдущее определение оптимизации промптов на мультимодальное пространство, определяемое парами текстовых и нетекстовых промптов. Для решения этой задачи мы предлагаем Мультимодальный Оптимизатор Промптов (MPO) — унифицированную структуру, которая не только выполняет совместную оптимизацию мультимодальных промптов с помощью обновлений, сохраняющих выравнивание, но также направляет процесс выбора кандидатов, используя предыдущие оценки в качестве априорных данных в стратегии выбора на основе байесовского подхода. В ходе обширных экспериментов с различными модальностями, выходящими за рамки текста, такими как изображения, видео и даже молекулы, мы демонстрируем, что MPO превосходит ведущие методы оптимизации, ограниченные текстом, устанавливая мультимодальную оптимизацию промптов как важный шаг для раскрытия потенциала MLLM.

English

Large Language Models (LLMs) have shown remarkable success, and their multimodal expansions (MLLMs) further unlock capabilities spanning images, videos, and other modalities beyond text. However, despite this shift, prompt optimization approaches, designed to reduce the burden of manual prompt crafting while maximizing performance, remain confined to text, ultimately limiting the full potential of MLLMs. Motivated by this gap, we introduce the new problem of multimodal prompt optimization, which expands the prior definition of prompt optimization to the multimodal space defined by the pairs of textual and non-textual prompts. To tackle this problem, we then propose the Multimodal Prompt Optimizer (MPO), a unified framework that not only performs the joint optimization of multimodal prompts through alignment-preserving updates but also guides the selection process of candidate prompts by leveraging earlier evaluations as priors in a Bayesian-based selection strategy. Through extensive experiments across diverse modalities that go beyond text, such as images, videos, and even molecules, we demonstrate that MPO outperforms leading text-only optimization methods, establishing multimodal prompt optimization as a crucial step to realizing the potential of MLLMs.