RewardSDS: Afstemming van Score Destillatie via Beloning-Gewogen Steekproef

RewardSDS: Aligning Score Distillation via Reward-Weighted Sampling

March 12, 2025

Auteurs: Itay Chachy, Guy Yariv, Sagie Benaim

cs.AI

Samenvatting

Score Distillation Sampling (SDS) is naar voren gekomen als een effectieve techniek voor het benutten van 2D diffusie-priors voor taken zoals tekst-naar-3D-generatie. Hoewel krachtig, heeft SDS moeite met het bereiken van fijnmazige afstemming op de bedoeling van de gebruiker. Om dit te overwinnen, introduceren we RewardSDS, een nieuwe aanpak die ruisvoorbeelden weegt op basis van afstemmingsscores van een beloningsmodel, wat resulteert in een gewogen SDS-verlies. Dit verlies geeft prioriteit aan gradienten van ruisvoorbeelden die uitgelijnde, hoogbeloonde output opleveren. Onze aanpak is breed toepasbaar en kan SDS-gebaseerde methoden uitbreiden. In het bijzonder demonstreren we de toepasbaarheid ervan op Variational Score Distillation (VSD) door RewardVSD te introduceren. We evalueren RewardSDS en RewardVSD op taken zoals tekst-naar-beeld, 2D-bewerking en tekst-naar-3D-generatie, en laten significante verbeteringen zien ten opzichte van SDS en VSD op een diverse set van metrieken die de generatiekwaliteit en afstemming op gewenste beloningsmodellen meten, wat state-of-the-art prestaties mogelijk maakt. De projectpagina is beschikbaar op https://itaychachy.github.io/reward-sds/.

English

Score Distillation Sampling (SDS) has emerged as an effective technique for leveraging 2D diffusion priors for tasks such as text-to-3D generation. While powerful, SDS struggles with achieving fine-grained alignment to user intent. To overcome this, we introduce RewardSDS, a novel approach that weights noise samples based on alignment scores from a reward model, producing a weighted SDS loss. This loss prioritizes gradients from noise samples that yield aligned high-reward output. Our approach is broadly applicable and can extend SDS-based methods. In particular, we demonstrate its applicability to Variational Score Distillation (VSD) by introducing RewardVSD. We evaluate RewardSDS and RewardVSD on text-to-image, 2D editing, and text-to-3D generation tasks, showing significant improvements over SDS and VSD on a diverse set of metrics measuring generation quality and alignment to desired reward models, enabling state-of-the-art performance. Project page is available at https://itaychachy. github.io/reward-sds/.