Multimodale Prompt-Optimierung: Warum nicht mehrere Modalitäten für MLLMs nutzen?

Multimodal Prompt Optimization: Why Not Leverage Multiple Modalities for MLLMs

October 10, 2025

papers.authors: Yumin Choi, Dongki Kim, Jinheon Baek, Sung Ju Hwang

cs.AI

papers.abstract

Große Sprachmodelle (LLMs) haben bemerkenswerte Erfolge gezeigt, und ihre multimodalen Erweiterungen (MLLMs) erschließen zusätzliche Fähigkeiten, die über Text hinaus Bilder, Videos und andere Modalitäten umfassen. Trotz dieses Fortschritts bleiben Ansätze zur Prompt-Optimierung, die darauf abzielen, den Aufwand für die manuelle Erstellung von Prompts zu verringern und gleichzeitig die Leistung zu maximieren, auf Text beschränkt, was letztlich das volle Potenzial von MLLMs einschränkt. Angesichts dieser Lücke führen wir das neue Problem der multimodalen Prompt-Optimierung ein, das die bisherige Definition der Prompt-Optimierung auf den multimodalen Raum erweitert, der durch Paare von textuellen und nicht-textuellen Prompts definiert ist. Um dieses Problem zu lösen, schlagen wir den Multimodal Prompt Optimizer (MPO) vor, einen einheitlichen Rahmen, der nicht nur die gemeinsame Optimierung multimodaler Prompts durch alignment-erhaltende Aktualisierungen durchführt, sondern auch den Auswahlprozess von Kandidaten-Prompts durch die Nutzung früherer Bewertungen als Prioritäten in einer bayesschen Auswahlstrategie leitet. Durch umfangreiche Experimente über verschiedene Modalitäten hinweg, die über Text hinausgehen, wie Bilder, Videos und sogar Moleküle, zeigen wir, dass MPO führende textbasierte Optimierungsmethoden übertrifft und damit die multimodale Prompt-Optimierung als einen entscheidenden Schritt zur Realisierung des Potenzials von MLLMs etabliert.

English

Large Language Models (LLMs) have shown remarkable success, and their multimodal expansions (MLLMs) further unlock capabilities spanning images, videos, and other modalities beyond text. However, despite this shift, prompt optimization approaches, designed to reduce the burden of manual prompt crafting while maximizing performance, remain confined to text, ultimately limiting the full potential of MLLMs. Motivated by this gap, we introduce the new problem of multimodal prompt optimization, which expands the prior definition of prompt optimization to the multimodal space defined by the pairs of textual and non-textual prompts. To tackle this problem, we then propose the Multimodal Prompt Optimizer (MPO), a unified framework that not only performs the joint optimization of multimodal prompts through alignment-preserving updates but also guides the selection process of candidate prompts by leveraging earlier evaluations as priors in a Bayesian-based selection strategy. Through extensive experiments across diverse modalities that go beyond text, such as images, videos, and even molecules, we demonstrate that MPO outperforms leading text-only optimization methods, establishing multimodal prompt optimization as a crucial step to realizing the potential of MLLMs.