RewardSDS: Alinhamento da Distilação de Pontuação por meio de Amostragem Ponderada por Recompensa

RewardSDS: Aligning Score Distillation via Reward-Weighted Sampling

March 12, 2025

Autores: Itay Chachy, Guy Yariv, Sagie Benaim

cs.AI

Resumo

O Score Distillation Sampling (SDS) surgiu como uma técnica eficaz para aproveitar priors de difusão 2D em tarefas como geração de texto para 3D. Embora poderoso, o SDS enfrenta dificuldades para alcançar um alinhamento refinado com a intenção do usuário. Para superar isso, introduzimos o RewardSDS, uma abordagem inovadora que pondera amostras de ruído com base em pontuações de alinhamento de um modelo de recompensa, produzindo uma perda SDS ponderada. Essa perda prioriza gradientes de amostras de ruído que resultam em saídas alinhadas e de alta recompensa. Nossa abordagem é amplamente aplicável e pode estender métodos baseados em SDS. Em particular, demonstramos sua aplicabilidade ao Variational Score Distillation (VSD) ao introduzir o RewardVSD. Avaliamos o RewardSDS e o RewardVSD em tarefas de geração de texto para imagem, edição 2D e geração de texto para 3D, mostrando melhorias significativas em relação ao SDS e ao VSD em um conjunto diversificado de métricas que medem a qualidade da geração e o alinhamento aos modelos de recompensa desejados, permitindo um desempenho de ponta. A página do projeto está disponível em https://itaychachy.github.io/reward-sds/.

English

Score Distillation Sampling (SDS) has emerged as an effective technique for leveraging 2D diffusion priors for tasks such as text-to-3D generation. While powerful, SDS struggles with achieving fine-grained alignment to user intent. To overcome this, we introduce RewardSDS, a novel approach that weights noise samples based on alignment scores from a reward model, producing a weighted SDS loss. This loss prioritizes gradients from noise samples that yield aligned high-reward output. Our approach is broadly applicable and can extend SDS-based methods. In particular, we demonstrate its applicability to Variational Score Distillation (VSD) by introducing RewardVSD. We evaluate RewardSDS and RewardVSD on text-to-image, 2D editing, and text-to-3D generation tasks, showing significant improvements over SDS and VSD on a diverse set of metrics measuring generation quality and alignment to desired reward models, enabling state-of-the-art performance. Project page is available at https://itaychachy. github.io/reward-sds/.