RewardSDS: Согласование дистилляции оценок через взвешенную по вознаграждению выборку

RewardSDS: Aligning Score Distillation via Reward-Weighted Sampling

March 12, 2025

Авторы: Itay Chachy, Guy Yariv, Sagie Benaim

cs.AI

Аннотация

Score Distillation Sampling (SDS) зарекомендовал себя как эффективный метод использования 2D диффузионных априорных моделей для задач, таких как генерация 3D-моделей из текста. Однако, несмотря на свою мощь, SDS испытывает трудности с достижением точного соответствия пользовательским намерениям. Чтобы преодолеть это, мы представляем RewardSDS — новый подход, который взвешивает шумовые выборки на основе оценок соответствия от модели вознаграждения, создавая взвешенную функцию потерь SDS. Эта функция потерь отдает приоритет градиентам от шумовых выборок, которые приводят к согласованному и высокооцененному результату. Наш подход имеет широкую применимость и может расширять методы, основанные на SDS. В частности, мы демонстрируем его применимость к Variational Score Distillation (VSD), вводя RewardVSD. Мы оцениваем RewardSDS и RewardVSD на задачах генерации изображений из текста, 2D-редактирования и генерации 3D-моделей из текста, показывая значительные улучшения по сравнению с SDS и VSD на разнообразных метриках, измеряющих качество генерации и соответствие целевым моделям вознаграждения, что позволяет достичь передовых результатов. Страница проекта доступна по адресу https://itaychachy.github.io/reward-sds/.

English

Score Distillation Sampling (SDS) has emerged as an effective technique for leveraging 2D diffusion priors for tasks such as text-to-3D generation. While powerful, SDS struggles with achieving fine-grained alignment to user intent. To overcome this, we introduce RewardSDS, a novel approach that weights noise samples based on alignment scores from a reward model, producing a weighted SDS loss. This loss prioritizes gradients from noise samples that yield aligned high-reward output. Our approach is broadly applicable and can extend SDS-based methods. In particular, we demonstrate its applicability to Variational Score Distillation (VSD) by introducing RewardVSD. We evaluate RewardSDS and RewardVSD on text-to-image, 2D editing, and text-to-3D generation tasks, showing significant improvements over SDS and VSD on a diverse set of metrics measuring generation quality and alignment to desired reward models, enabling state-of-the-art performance. Project page is available at https://itaychachy. github.io/reward-sds/.