Read It Back: 사전 학습된 MLLM은 텍스트-이미지 생성을 위한 제로샷 보상 모델이다

초록

본 논문에서는 사전 훈련된 MLLM을 이미지 생성 강화 학습을 위한 기성 보상 모델로 전환하는 훈련 없는 보상 함수인 SpectraReward를 제안한다. SpectraReward는 MLLM에게 생성된 이미지를 판단하거나 분해된 검증 질문에 답하도록 요청하는 대신, 생성된 이미지로부터 원래 프롬프트가 얼마나 잘 복구될 수 있는지를 단일 이미지 조건부 교사 강제 순방향 전파를 통해 측정한다. 평균 이미지 조건부 프롬프트 로그 우도를 보상으로 사용하며, 선호 레이블이나 보상 모델 미세 조정 없이 MLLM의 사전 훈련된 이미지-텍스트 정렬 능력을 직접 재사용한다. 또한, 통합 멀티모달 모델을 위한 특수 사례인 Self-SpectraReward를 도입하는데, 이는 정책의 자체 이해 브랜치가 생성 브랜치의 보상 모델 역할을 하여 외부 보상 모델이나 외부 지식 없이 폐쇄 루프 자기 개선 프레임워크를 형성한다. 광범위한 실험을 통해 SpectraReward는 두 가지 확산 모델, 세 가지 RL 알고리즘, 4B에서 235B 파라미터에 이르는 네 가지 MLLM 계열의 아홉 가지 보상 MLLM 백본, 그리고 다섯 가지 분포 외 텍스트-이미지 벤치마크를 포괄하는 광범위한 이미지 생성 RL 연구를 통해 검증되었다. 결과는 SpectraReward와 Self-SpectraReward 모두 생성 성능을 크고 일관되게 향상시키며, 기존 MLLM 기반 보상 훈련 방법보다 우수함을 보여준다. 추가 분석에 따르면 더 큰 보상 MLLM이 항상 더 나은 것은 아니며, Self-SpectraReward는 훨씬 더 큰 외부 보상 모델과 일치하거나 능가할 수 있어, 보상-정책 정렬이 효과적인 이미지 생성 RL의 핵심 요소임을 시사한다. 프로젝트 페이지: https://huangrh99.github.io/SpectraReward/

English

In this paper, we propose SpectraReward, a training-free reward function that turns pretrained MLLMs into off-the-shelf reward models for image-generation reinforcement learning. Instead of asking the MLLM to judge a generated image or answer decomposed verification questions, SpectraReward measures how well the original prompt can be recovered from the generated image through a single image-conditioned, teacher-forced forward pass. We use the average image-conditioned prompt log-likelihood as the reward, directly reusing the MLLM's pretrained image-text alignment ability without preference labels, reward-model fine-tuning. We further introduce Self-SpectraReward, a special case for unified multimodal models where the policy's own understanding branch serves as the reward model for its generation branch, forming a closed-loop self-improving framework without external reward models or external knowledge. Extensive experiments validate SpectraReward through a broad image-generation RL study covering two diffusion models, three RL algorithms, nine reward MLLM backbones from four MLLM families spanning 4B to 235B parameters, and five out-of-distribution text-to-image benchmarks. Results show that both SpectraReward and Self-SpectraReward significantly and consistently improve generation performance and outperform prior MLLM-derived reward training methods. Further analysis reveals that larger reward MLLMs are not always better, while Self-SpectraReward can match or surpass much larger external reward models, suggesting that reward-policy alignment is a key factor for effective image-generation RL. Project Page: https://huangrh99.github.io/SpectraReward/

Read It Back: 사전 학습된 MLLM은 텍스트-이미지 생성을 위한 제로샷 보상 모델이다

Read It Back: Pretrained MLLMs Are Zero-Shot Reward Models for Text-to-Image Generation

초록

Support