Jenseits skalarer Belohnungen durch Verinnerlichung von Reasoning in Score-Verteilungen

Zusammenfassung

Belohnungsmodelle sind zentral für das Post-Training von Text-zu-Bild-Modellen, doch visuelle Präferenz ist subjektiv und wird besser als Verteilung über Rubrikbewertungen repräsentiert denn als deterministischer Skalar. Existierende skalare, Bewertungs-Token- und paarweise Belohnungsmodelle komprimieren Unsicherheit und feinkörnige Bewertungsunterschiede übermäßig, während auf Reasoning basierende generative Belohnungen robustere Urteile liefern, aber teuer in der Bereitstellung und schwer als direkte Optimierungssignale zu nutzen sind. Wir schlagen Z-Reward vor, ein Lehrer-Schüler-Belohnungsmodellierungsframework, das reasoning-intensives Urteilen von effizienter Belohnungsbereitstellung entkoppelt. Der Lehrer ist ein großes VLM, das Reasoning verwendet, um rubric-konforme Bewertungsverteilungen abzuleiten, und wird mit Group-wise Direct Score Optimization (GDSO) trainiert, das Policy-Gradient-Belohnungen aus Verteilungserwartungen mit direkter punktweiser und paarweiser Überwachung von Bewertungsverteilungen und Bewertungsabständen kombiniert. Der Schüler wird mit Reasoning-Internalized Score Distillation (RISD) trainiert, das die reasoning-bedingte Bewertungsverteilung des Lehrers in ein kompaktes VLM überträgt, ohne zur Inferenzzeit explizite Reasoning-Ketten zu benötigen. Auf unserem intern annotierten Evaluationsdatensatz erreicht der 27B-GDSO-Lehrer eine menschliche Präferenzgenauigkeit von 89,6 % und übertrifft damit SFT, RewardDance und GRPO, während der 9B-RISD-Schüler 88,6 % erreicht, den OPD-Baseline übertrifft und dem größeren Lehrer nahekommt. Wir zeigen weiterhin, dass Z-Reward als differenzierbares Belohnungssignal für die Text-zu-Bild-Optimierung dienen kann, was eine Nettoverbesserung der menschlichen Präferenz um 41,3 % gegenüber der SFT-Baseline ergibt.

English

Reward models are central to text-to-image post-training, but visual preference is subjective and better represented as a distribution over rubric scores than as a deterministic scalar. Existing scalar, score-token, and pairwise reward models over-compress uncertainty and fine-grained score differences, while reasoning-based generative rewards provide stronger judgments but are costly to deploy and difficult to use as direct optimization signals. We propose Z-Reward, a teacher-student reward modeling framework that decouples reasoning-heavy judgment from efficient reward deployment. The teacher is a large VLM that uses reasoning to infer rubric-aligned score distributions, and is trained with Group-wise Direct Score Optimization (GDSO), which combines policy-gradient rewards from distribution expectations with direct pointwise and pairwise supervision on score distributions and score gaps. The student is trained with Reasoning-Internalized Score Distillation (RISD), which transfers the teacher's reasoning-conditioned score distribution into a compact VLM without requiring explicit reasoning chains at inference time. On our internally annotated evaluation set, the 27B GDSO teacher reaches 89.6% human preference accuracy, outperforming SFT, RewardDance, and GRPO, while the 9B RISD student reaches 88.6%, outperforming the OPD baseline and closely matching the larger teacher. We further show that Z-Reward can serve as a differentiable reward signal for text-to-image optimization, yielding a 41.3% net human-preference improvement over the SFT baseline.