Read It Back: 事前学習済みMLLMはテキストから画像生成のためのゼロショット報酬モデルである

要旨

本稿では、SpectraRewardを提案する。これは学習不要の報酬関数であり、事前学習済みMLLMを画像生成強化学習のための既製報酬モデルとして利用可能にするものである。SpectraRewardは、MLLMに生成画像の判定や分解された検証問題への回答を求める代わりに、生成画像から元のプロンプトがどの程度復元可能かを、画像条件付きの教師強制型フォワードパス一回で計測する。この平均画像条件付きプロンプト対数尤度を報酬として用いることで、選好ラベルや報酬モデルのファインチューニングなしに、MLLMの事前学習済み画像-テキスト整合能力を直接再利用する。さらに、統合マルチモーダルモデルの特殊ケースとしてSelf-SpectraRewardを導入する。これは、方策自身の理解ブランチが生成ブランチの報酬モデルとして機能し、外部報酬モデルや外部知識を必要としない閉ループ自己改善フレームワークを形成するものである。広範な実験により、SpectraRewardを検証した。対象は、2つの拡散モデル、3つのRLアルゴリズム、4つのMLLMファミリー（パラメータ数4B～235B）にわたる9つの報酬MLLMバックボーン、および5つの分布外テキスト画像ベンチマークを含む、広範な画像生成強化学習研究である。結果は、SpectraRewardとSelf-SpectraRewardの両方が生成性能を有意かつ一貫して向上させ、従来のMLLM由来の報酬訓練手法を上回ることを示している。さらに、大規模な報酬MLLMが常に優れているとは限らず、Self-SpectraRewardがはるかに大規模な外部報酬モデルに匹敵またはそれを上回る可能性があることが明らかになった。これは、報酬と方策の整合性が効果的な画像生成強化学習の重要な要素であることを示唆している。プロジェクトページ: https://huangrh99.github.io/SpectraReward/

English

In this paper, we propose SpectraReward, a training-free reward function that turns pretrained MLLMs into off-the-shelf reward models for image-generation reinforcement learning. Instead of asking the MLLM to judge a generated image or answer decomposed verification questions, SpectraReward measures how well the original prompt can be recovered from the generated image through a single image-conditioned, teacher-forced forward pass. We use the average image-conditioned prompt log-likelihood as the reward, directly reusing the MLLM's pretrained image-text alignment ability without preference labels, reward-model fine-tuning. We further introduce Self-SpectraReward, a special case for unified multimodal models where the policy's own understanding branch serves as the reward model for its generation branch, forming a closed-loop self-improving framework without external reward models or external knowledge. Extensive experiments validate SpectraReward through a broad image-generation RL study covering two diffusion models, three RL algorithms, nine reward MLLM backbones from four MLLM families spanning 4B to 235B parameters, and five out-of-distribution text-to-image benchmarks. Results show that both SpectraReward and Self-SpectraReward significantly and consistently improve generation performance and outperform prior MLLM-derived reward training methods. Further analysis reveals that larger reward MLLMs are not always better, while Self-SpectraReward can match or surpass much larger external reward models, suggesting that reward-policy alignment is a key factor for effective image-generation RL. Project Page: https://huangrh99.github.io/SpectraReward/

Read It Back: 事前学習済みMLLMはテキストから画像生成のためのゼロショット報酬モデルである

Read It Back: Pretrained MLLMs Are Zero-Shot Reward Models for Text-to-Image Generation

要旨

Support