RewardSDS : Alignement de la distillation de scores par échantillonnage pondéré par récompense

RewardSDS: Aligning Score Distillation via Reward-Weighted Sampling

March 12, 2025

Auteurs: Itay Chachy, Guy Yariv, Sagie Benaim

cs.AI

Résumé

Le Score Distillation Sampling (SDS) s'est imposé comme une technique efficace pour exploiter des modèles de diffusion 2D dans des tâches telles que la génération de texte en 3D. Bien que puissant, le SDS peine à atteindre un alignement précis avec l'intention de l'utilisateur. Pour surmonter cette limitation, nous introduisons RewardSDS, une approche novatrice qui pondère les échantillons de bruit en fonction des scores d'alignement provenant d'un modèle de récompense, produisant ainsi une perte SDS pondérée. Cette perte privilégie les gradients issus d'échantillons de bruit qui génèrent des sorties alignées et hautement récompensées. Notre approche est largement applicable et peut étendre les méthodes basées sur SDS. En particulier, nous démontrons son applicabilité à la Distillation de Score Variationnelle (VSD) en introduisant RewardVSD. Nous évaluons RewardSDS et RewardVSD sur des tâches de génération d'images à partir de texte, d'édition 2D et de génération de texte en 3D, montrant des améliorations significatives par rapport à SDS et VSD sur un ensemble diversifié de métriques mesurant la qualité de génération et l'alignement aux modèles de récompense souhaités, permettant ainsi des performances de pointe. La page du projet est disponible à l'adresse suivante : https://itaychachy.github.io/reward-sds/.

English

Score Distillation Sampling (SDS) has emerged as an effective technique for leveraging 2D diffusion priors for tasks such as text-to-3D generation. While powerful, SDS struggles with achieving fine-grained alignment to user intent. To overcome this, we introduce RewardSDS, a novel approach that weights noise samples based on alignment scores from a reward model, producing a weighted SDS loss. This loss prioritizes gradients from noise samples that yield aligned high-reward output. Our approach is broadly applicable and can extend SDS-based methods. In particular, we demonstrate its applicability to Variational Score Distillation (VSD) by introducing RewardVSD. We evaluate RewardSDS and RewardVSD on text-to-image, 2D editing, and text-to-3D generation tasks, showing significant improvements over SDS and VSD on a diverse set of metrics measuring generation quality and alignment to desired reward models, enabling state-of-the-art performance. Project page is available at https://itaychachy. github.io/reward-sds/.