Ottimizzazione dei Prompt Multimodali: Perché Non Sfruttare Modulità Multiple per i Modelli Linguistici Multimodali?

Multimodal Prompt Optimization: Why Not Leverage Multiple Modalities for MLLMs

October 10, 2025

Autori: Yumin Choi, Dongki Kim, Jinheon Baek, Sung Ju Hwang

cs.AI

Abstract

I Modelli Linguistici di Grande Scala (LLM) hanno dimostrato un successo notevole, e le loro espansioni multimodali (MLLM) aprono ulteriori possibilità che spaziano oltre il testo, includendo immagini, video e altre modalità. Tuttavia, nonostante questo cambiamento, gli approcci di ottimizzazione dei prompt, progettati per ridurre il carico della creazione manuale dei prompt massimizzando le prestazioni, rimangono limitati al testo, limitando di fatto il pieno potenziale degli MLLM. Motivati da questa lacuna, introduciamo il nuovo problema dell'ottimizzazione multimodale dei prompt, che espande la definizione precedente di ottimizzazione dei prompt allo spazio multimodale definito dalle coppie di prompt testuali e non testuali. Per affrontare questo problema, proponiamo quindi l'Ottimizzatore Multimodale dei Prompt (MPO), un framework unificato che non solo esegue l'ottimizzazione congiunta dei prompt multimodali attraverso aggiornamenti che preservano l'allineamento, ma guida anche il processo di selezione dei prompt candidati sfruttando valutazioni precedenti come prior in una strategia di selezione basata su approcci bayesiani. Attraverso esperimenti estesi su diverse modalità che vanno oltre il testo, come immagini, video e persino molecole, dimostriamo che MPO supera i principali metodi di ottimizzazione limitati al testo, stabilendo l'ottimizzazione multimodale dei prompt come un passo cruciale per realizzare il potenziale degli MLLM.

English

Large Language Models (LLMs) have shown remarkable success, and their multimodal expansions (MLLMs) further unlock capabilities spanning images, videos, and other modalities beyond text. However, despite this shift, prompt optimization approaches, designed to reduce the burden of manual prompt crafting while maximizing performance, remain confined to text, ultimately limiting the full potential of MLLMs. Motivated by this gap, we introduce the new problem of multimodal prompt optimization, which expands the prior definition of prompt optimization to the multimodal space defined by the pairs of textual and non-textual prompts. To tackle this problem, we then propose the Multimodal Prompt Optimizer (MPO), a unified framework that not only performs the joint optimization of multimodal prompts through alignment-preserving updates but also guides the selection process of candidate prompts by leveraging earlier evaluations as priors in a Bayesian-based selection strategy. Through extensive experiments across diverse modalities that go beyond text, such as images, videos, and even molecules, we demonstrate that MPO outperforms leading text-only optimization methods, establishing multimodal prompt optimization as a crucial step to realizing the potential of MLLMs.